From: http://www.cnblogs.com/janehoo/archive/2016/04/06/5359800.html

一、教你如何让数据库支持emoji表情符存储

解决方式:更换字符集utf8-->utf8mb4

上周有开发人员反馈一个问题:前台应用抓取微博信息,每天总有几条数据插入不成功。应用日志显示:

java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\xAA",...' for column 'raw_json' at row 1, 异常:org.springframework.jdbc.UncategorizedSQLException:

其中raw_json字段显示如下:

由上图可知,插入的字段里面包含emoji表情符。基本可以判定是字符编码的问题。我们的数据库里面使用的是utf8编码,普通的字符串或者表情都是占位3个字节,所以utf8足够用了,但是移动端的表情符号占位是4个字节,普通的utf8就不够用了,为了应对无线互联网的机遇和挑战、避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用utf8mb4 字符集,这必须要作为移动互联网行业的一个技术选型的要点。

utf8与utf8mb4说明:

UTF- 8:Unicode Transformation Format-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24为(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。

UTF8MB4:MySQL在5.5.3之后增加了utf8mb4的编码,mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。

既然找到了原因就来执行吧.既然只有raw_json列含表情符,就先尝试修改此列的字符集:

1
ALTER TABLE xx_pnl_weibo_usershow  <br>MODIFY ` raw_json` varchar(3000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

改完后测试,插入失败。

尝试修改表的字符集:

1
alter table xx_pnl_weibo_usershow CHARSET=utf8mb4 ;  (修改表的默认字符集)
alter table xx_pnl_weibo_usershow CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;(修改表和字段的字符集)

改完后测试,插入失败。

修改库级别的字符集

1
2
3
4
5
6
7
8
vi /etc/my.cnf 
 
[client]  
default-character-set=utf8mb4  
[mysqld]  
character-set-server = utf8mb4 
  
service mysqld restart

改完后测试,插入成功。查看插入的数据:

root@localhost zx_prod >select id,raw_json,hex(raw_json),length(raw_json) from  xx_pnl_weibo_usershow where id=2;

+----+------------------+----------------------------------+---------------------+
| id | raw_json | hex(raw_json) | length(raw_json) |
+----+------------------+----------------------------------+---------------------+
| 2 |  | F09F9894F09F9882F09F9898F09F9894 | 16 |
+----+------------------+----------------------------------+---------------------+
1 row in set (0.00 sec)

因为是线上生产业务,需要先在测试环境做好测试工作。避免业务高峰期,线上申请停机窗口操作。

emoji表情编码参考:

http://punchdrunker.github.io/iOSEmoji/table_html/flower.html

最新文章

  1. Oracle开机自启动
  2. 设计模式/原则篇- Unit of Work
  3. hiho_1054_滑动解锁
  4. innodb_fast_shutdown中值为1或者2的区别是?
  5. if条件语句练习题
  6. google protobuf 简单实例
  7. Linux下gdb使用整理记录
  8. hover和mouseover,mouseout的区别
  9. JS调用PHP 和 PHP调用JS的方法举例
  10. QT5在VS2013中找不到QtNetwork或QTcpSocket或QTcpSocket等头文件
  11. Python学习入门基础教程(learning Python)--8.1 字典数据添加与删除
  12. [译]Java垃圾回收器的类型
  13. box-shadow IE8兼容处理
  14. yum仓库,RPM打包
  15. 【原创】使用workstation安装Xenserver 6.5+cloudstack 4.10----本地存储模式
  16. __x__(21)0907第四天__ css 盒模型 (框模型)
  17. MFC中使用ATL报错:error C4430: missing type specifier - int assumed. Note: C++ does not support default-int
  18. 《Java程序设计》第2周学习总结(Markdown语法修改版)
  19. hihocoder 1323 - 回文字符串 - [hiho一下162周][区间dp]
  20. Debian use sudo

热门文章

  1. BZOJ1515 : [POI2006]Lis-The Postman
  2. redis(一)
  3. 近年NOIP考点与主要做法
  4. selenium+PhantomJS小案例—爬豆瓣网所有电影代码python
  5. pointer-net
  6. ES6_函数方法
  7. mvc中AntiForgeryToken的实现方式--看Mvc源码
  8. Accumulator&lt;Long&gt; implements of JavaSparkContext in Spark1.x
  9. 增加tomcat的运行速度
  10. Spring mvc前台后台传值