之前一直想找到一个模块,针对字符判断是什么字符集编码的库

网上有chardet的blog,发现自己的环境有这个库,于是就做了测试

>>> import chardet
>>> a = "也有".decode('gbk')
>>> a
u'\u6d94\u71b8\u6e41'
>>> a = "也有".decode('gbk').encode('gbk')
>>> a
'\xe4\xb9\x9f\xe6\x9c\x89'
>>> chardet.detect(a)
{'confidence': 0.7525, 'language': '', 'encoding': 'utf-8'}
>>> print(a)
也有>>> a = "也有".decode('gbk').encode('gbk')
>>> a = u"也有".encode('gbk')
>>> a
'\xd2\xb2\xd3\xd0'
>>> chardet.detect(a)
{'confidence': 0.7679697235616183, 'language': 'Russian', 'encoding': 'KOI8-R'}

In [5]: a = "asd算法".encode('utf-8').decode('gbk')

In [6]: import chardet

In [7]: chardet.detect(a)
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-7-45a625c5d441> in <module>()
----> 1 chardet.detect(a)

c:\python3.6.3\lib\site-packages\chardet\__init__.py in detect(byte_str)
32 if not isinstance(byte_str, bytes):
33 raise TypeError('Expected object of type bytes or bytearray, got: '
---> 34 '{0}'.format(type(byte_str)))
35 else:
36 byte_str = bytearray(byte_str)

TypeError: Expected object of type bytes or bytearray, got: <class 'str'>

In [8]: a
Out[8]: 'asd绠楁硶'

总结发现不是很准,放弃使用

最新文章

  1. Android二维码的生成,解析以及扫描功能
  2. SSH之免密码登录
  3. ES搜索引擎-简单入门
  4. 计算html标签textarea字符长度
  5. win8.1禁用和去除SkyDrive任务栏图标方法
  6. highcharts 根据表格转化为不同的图表
  7. docker无法连接进程
  8. gvim 常用命令
  9. HTTP的学习
  10. Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/hive-0.12.0/conf/hive-site.xml; lineNumber: 5; columnNumber: 2; The markup in the document following the root element must be well
  11. 【Qt编程】基于Qt的词典开发系列&lt;十二&gt;调用讲述人
  12. [SpringBoot guides系列翻译]SpringBoot构建RESTful程序入门
  13. android:动态申请权限(一)
  14. codeforces589I
  15. JVM垃圾回收(一)- 什么是垃圾回收
  16. 3P - Snooker
  17. iOS - 友盟集成QQ分享的AppID转换16进制的方法
  18. python-xlwt给excel添加样式
  19. R的grep和grepl
  20. PreparedStatement vs Statement

热门文章

  1. 潭州课堂25班:Ph201805201 tornado 项目 第四课 增加用户注册登录(课堂笔记)
  2. 潭州课堂25班:Ph201805201 django 项目 第五课 静态页面转为模板 (课堂笔记)
  3. Spring MVC中Controller返回值void时报错
  4. BZOJ3022 : [Balkan2012]The Best Teams
  5. 将Django部署到Linux
  6. keras用vgg16做图像分类
  7. 论文泛读 A Novel Ensemble Learning-based Approach for Click Fraud Detection in Mobile Advertising [1/10]
  8. gravity 和 layout_gravity
  9. 关于django的部分
  10. delphi button 实现下拉列表