python 字符编码判断 chardet评测
之前一直想找到一个模块,针对字符判断是什么字符集编码的库
网上有chardet的blog,发现自己的环境有这个库,于是就做了测试
>>> import chardet
>>> a = "也有".decode('gbk')
>>> a
u'\u6d94\u71b8\u6e41'
>>> a = "也有".decode('gbk').encode('gbk')
>>> a
'\xe4\xb9\x9f\xe6\x9c\x89'
>>> chardet.detect(a)
{'confidence': 0.7525, 'language': '', 'encoding': 'utf-8'}
>>> print(a)
也有>>> a = "也有".decode('gbk').encode('gbk')
>>> a = u"也有".encode('gbk')
>>> a
'\xd2\xb2\xd3\xd0'
>>> chardet.detect(a)
{'confidence': 0.7679697235616183, 'language': 'Russian', 'encoding': 'KOI8-R'}
In [5]: a = "asd算法".encode('utf-8').decode('gbk')
In [6]: import chardet
In [7]: chardet.detect(a)
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-7-45a625c5d441> in <module>()
----> 1 chardet.detect(a)
c:\python3.6.3\lib\site-packages\chardet\__init__.py in detect(byte_str)
32 if not isinstance(byte_str, bytes):
33 raise TypeError('Expected object of type bytes or bytearray, got: '
---> 34 '{0}'.format(type(byte_str)))
35 else:
36 byte_str = bytearray(byte_str)
TypeError: Expected object of type bytes or bytearray, got: <class 'str'>
In [8]: a
Out[8]: 'asd绠楁硶'
总结发现不是很准,放弃使用
最新文章
- Android二维码的生成,解析以及扫描功能
- SSH之免密码登录
- ES搜索引擎-简单入门
- 计算html标签textarea字符长度
- win8.1禁用和去除SkyDrive任务栏图标方法
- highcharts 根据表格转化为不同的图表
- docker无法连接进程
- gvim 常用命令
- HTTP的学习
- Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/hive-0.12.0/conf/hive-site.xml; lineNumber: 5; columnNumber: 2; The markup in the document following the root element must be well
- 【Qt编程】基于Qt的词典开发系列<;十二>;调用讲述人
- [SpringBoot guides系列翻译]SpringBoot构建RESTful程序入门
- android:动态申请权限(一)
- codeforces589I
- JVM垃圾回收(一)- 什么是垃圾回收
- 3P - Snooker
- iOS - 友盟集成QQ分享的AppID转换16进制的方法
- python-xlwt给excel添加样式
- R的grep和grepl
- PreparedStatement vs Statement
热门文章
- 潭州课堂25班:Ph201805201 tornado 项目 第四课 增加用户注册登录(课堂笔记)
- 潭州课堂25班:Ph201805201 django 项目 第五课 静态页面转为模板 (课堂笔记)
- Spring MVC中Controller返回值void时报错
- BZOJ3022 : [Balkan2012]The Best Teams
- 将Django部署到Linux
- keras用vgg16做图像分类
- 论文泛读 A Novel Ensemble Learning-based Approach for Click Fraud Detection in Mobile Advertising [1/10]
- gravity 和 layout_gravity
- 关于django的部分
- delphi button 实现下拉列表