文件读取错误UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 884: invalid start byte
2024-10-19 06:26:37
参考:
https://segmentfault.com/q/1010000004268196/a-1020000004269556
ubuntu下Python3使用open('filename', 'r').read()
读取 .txt 文件时抛出异常:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 66: invalid start byte
当相同语句在Python2下运行时却正常,请问问题出在哪里啊?
0x92
即 10010010
,UTF8 中编码一个字符的第一个字节(start byte)只可能是 0xxxxxxx
、110xxxxx
、1110xxx
、11110xxx
……而后面的字节只可能是 10xxxxxx
。也就是说 0x92
只能作为后面的字节,却出现在了第一个字节的位置。
出现这种问题绝大部分情况是因为文件不是 UTF8 编码的(例如,可能是 GBK 编码的),而系统默认采用 UTF8 解码。解决方法是改为对应的解码方式。
极少数情况是因为文件损坏了或者和一部分非 UTF8 编码混在一起,可以修复文件或采用 replace
等方式解码。
Python 2 没有问题是因为 Python 2 默认以字节流(对应 Python 3 的 bytes
)的方式读文件,不像 Python 3 默认解码为 unicode
,把读文件的方式改为 rb
有同样的效果,不过 Python 3 中处理 bytes
还可能遇到很多问题就是了……
最后决定,以二进制形式读取,忽略特殊字符造成的转码错误,然后就可以了:
contents = open('F:\\28\\数据分析\\MLiA_SourceCode\\machinelearninginaction\\Ch04\\\email\\ham/%d.txt'%i,'rb').read().decode('utf8','ignore')
最新文章
- JavaScript资源大全中文版(Awesome最新版)
- 使用 Visual Studio Online 进行协同开发
- 使用javascript生成的植物显示过程特效
- AngularJS时间轴指令
- 好用的 diskpart 命令,操作磁盘分区,并创建 EFI 引导分区
- POJ #1141 - Brackets Sequence - TODO: POJ website issue
- nginx爆出新漏洞 最低限度可造成DDos攻击
- PHP.8-HTML+CSS(二)-HTML详解
- spark 环境变量系列配置
- Perfect Pth Powers poj1730
- Python 错误 UnicodeEncodeError: 'ascii' codec can't encode character 的解决方案
- ios访问web页面<;div>;点击事件不起效果,以及alert()显示url的解决办法
- 帝国CMS Table '***.phome_ecms_news_data_' doesn't exist
- Mybatis根据List批量查询List结果
- HTTP Request &; Response
- PHP魔术方法实例
- Lucene 4.8 - Facet Demo
- OpenCV中图像算术操作与逻辑操作
- stat命令的实现-mysate
- ZOJ2540 Form a Square