mysql数据校验过程中的字符集问题处理
场景
主库DButf8字符集
备库DBgbk字符集
需求
校验主备数据是否一致,并且修复
校验过程
设置主库连接为utf8,设置备库连接为gbk,分别进行查询,将返回的的结果集按记录逐字段比较。
显示结果
原本相同的汉字字符,数据校验认为不一致。
原因分析
对于主库而已,由于建立连接的字符集为UTF8,则返回的汉字字符编码为UTF8格式;对于备库而言则是GBK格式,而程序中通过字符串比较函数strcasecmp进行比较,显然不同的字符集编码,相同的字符有不同的二进制,结果肯定不会相等。
进一步分析
那么对于这种情况,建立连接应该采用哪种字符集呢?GBK or UTF8。其实选择任何一种字符集都是OK的,只要是访问主库和备库的字符集保持一致即可,唯一的区别在于,若选择的字符集与客户端的字符集不一致,可能导致无法正常显示字符,即字符显示为乱码。
我们以客户端的字符集为例,详细说说三种情况【这里的客户端可以认为是SecureCRT】
备注绿色框代表DB字符集,黄色框代表连接字符集,橙色框代表客户端
第一种情况
就是上述的情况,主库返回字符的GBK编码,备库返回字符的UTF8编码,进行字段比对,则会出现误差。
第二种情况
访问主库的连接不变,备库连接由UTF8变为GBK,进行返回时,数据库会将DB的字符集转为GBK返回给客户端,那么对于客户端而已,相同字符都是通过GBK编码表示,二进制相等,校验结果正确。
第三种情况
访问主库和备库的连接都是UTF8,对于主库而已,返回给客户端的字符编码由GBK转为UTF8,此时主库和备库都是UTF8编码,校验结果正确。但由于客户端实质是GBK编码方式显示,返回的汉字字符都是乱码,但不影响校验结果的正确性。
修复
既然选择与主备库任一一个相同的字符集去访问,都不会影响校验结果的正确性,那么影响修复呢?由于UTF8的编码范围比GBK编码范围要大,若采用GBK连接访问UTF8编码DB,有可能出现部分字符GBK不能表示的情况。
我们拿第二种情况说明,此时主库为GBK,备库为UTF8,使用GBK访问UTF8。假设存在UTF8转为GBK过程中部分字符丢失,这时候主备库肯定是不一致的,因为存在部分字符GBK无法表示。 假设修复语句如下
Update t set c1=master_value where c1=slave_value and id=?
其中t表示表名,id是主键表示某一行,master_value为主库c1列的值,slave_value为备库c1列的值。此时,slave_value由于UTF8转为GBK已经丢失,语句执行最终影响0行记录,无法修复。
结论
客户端访问两个不同字符集库进行数据校验时,连接采用表示范围更大的字符集。比如我们常用的字符集表示范围如下
Latin<gb2312<gbk<utf8
附mysql客户端与服务器通信时字符集编码转换流程
相关参数
– character_set_client客户端来源数据使用的字符集
– character_set_connection连接层字符集
– character_set_results查询结果字符集
– character_set_database当前选中数据库的默认字符集
– character_set_system系统元数据(字段名等)字符集
1.客户端请求服务器
1)将client的字符集转为connection字符集
2)将connection字符集转为DB内部的字符集
2.服务器返回结果给客户端
1)将DB内部字符集转为connection字符集
2)将connection字符集转为character_set_results字符集
3.设置字符集命令set names 字符编码
指定客户端与服务器通信的字符集,包括请求与返回。
SET NAMES 'x' 等价于
SET character_set_client = x;
SET character_set_results = x;
SET character_set_connection = x;
附图
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程