参考:

https://segmentfault.com/q/1010000004268196/a-1020000004269556

ubuntu下Python3使用open('filename', 'r').read()读取 .txt 文件时抛出异常:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 66: invalid start byte
当相同语句在Python2下运行时却正常,请问问题出在哪里啊?

0x9210010010,UTF8 中编码一个字符的第一个字节(start byte)只可能是 0xxxxxxx110xxxxx1110xxx11110xxx……而后面的字节只可能是 10xxxxxx。也就是说 0x92 只能作为后面的字节,却出现在了第一个字节的位置。

出现这种问题绝大部分情况是因为文件不是 UTF8 编码的(例如,可能是 GBK 编码的),而系统默认采用 UTF8 解码。解决方法是改为对应的解码方式。

极少数情况是因为文件损坏了或者和一部分非 UTF8 编码混在一起,可以修复文件或采用 replace 等方式解码。

Python 2 没有问题是因为 Python 2 默认以字节流(对应 Python 3 的 bytes)的方式读文件,不像 Python 3 默认解码为 unicode,把读文件的方式改为 rb 有同样的效果,不过 Python 3 中处理 bytes 还可能遇到很多问题就是了……

最后决定,以二进制形式读取,忽略特殊字符造成的转码错误,然后就可以了:

contents = open('F:\\28\\数据分析\\MLiA_SourceCode\\machinelearninginaction\\Ch04\\\email\\ham/%d.txt'%i,'rb').read().decode('utf8','ignore')

最新文章

  1. JavaScript资源大全中文版(Awesome最新版)
  2. 使用 Visual Studio Online 进行协同开发
  3. 使用javascript生成的植物显示过程特效
  4. AngularJS时间轴指令
  5. 好用的 diskpart 命令,操作磁盘分区,并创建 EFI 引导分区
  6. POJ #1141 - Brackets Sequence - TODO: POJ website issue
  7. nginx爆出新漏洞 最低限度可造成DDos攻击
  8. PHP.8-HTML+CSS(二)-HTML详解
  9. spark 环境变量系列配置
  10. Perfect Pth Powers poj1730
  11. Python 错误 UnicodeEncodeError: 'ascii' codec can't encode character 的解决方案
  12. ios访问web页面<div>点击事件不起效果,以及alert()显示url的解决办法
  13. 帝国CMS Table '***.phome_ecms_news_data_' doesn't exist
  14. Mybatis根据List批量查询List结果
  15. HTTP Request & Response
  16. PHP魔术方法实例
  17. Lucene 4.8 - Facet Demo
  18. OpenCV中图像算术操作与逻辑操作
  19. stat命令的实现-mysate
  20. ZOJ2540 Form a Square

热门文章

  1. ccf 行车路线
  2. HDU 1698 Just a Hook(线段树:区间更新)
  3. appium装上开始干嘛
  4. Java中的String和StringBuffer
  5. RabbitMQ入门_02_HelloWorld
  6. Java IO流-合并流
  7. WPF 动画 和 色彩 的随笔
  8. codefroce385E矩阵快速幂
  9. Java网络编程和NIO详解9:基于NIO的网络编程框架Netty
  10. css之grid layout代码解释