Python爬取中文页面的时候出现的乱码问题
2024-09-05 17:57:47
一、读取返回的页面数据
在浏览器打开的时候查看源代码,如果在头部信息中指定了UTF-8
那么再python代码中读取页面信息的时候,就需要指定读取的编码方式:
response.read().decode('utf-8')
二、把中文数据写入到文件的时候
python默认的是按照ACSII的编码往外写,所以中文数据往外写肯定会出现乱码
那么再往外写入文件的时候需要对中文数据进行编码:
fout.write('<td>%s</td>' %(data['title'].encode('utf-8')))
三、写入到HTML文件的时候
为了显示方便,把抓取下来的数据写入到HTML文件里面,在浏览中显示
在写入的时候,需要指定HTML文件的编码方式
如果没有指定默认的是UTF8无BOM编码,直接用浏览打开会产生乱码
所以需要在往外写的时候指定编码方式:
fout.write('<html><head><meta http-equiv="Content-Type" content="text/html;charset=UTF-8"/></head>')
四、设置了以上编码之后还可能会报错,在加入以下代码
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
最新文章
- .NET WEB项目的调试发布相关
- C语言习题(结构)
- Linux下解决用户不能执行sudo的方法
- Python 学习笔记9(装饰器,decorator)
- Logger日志级别说明及设置方法、说明 (zhuan)
- CSS之密码强度检测
- 解决IE6中ajax ‘aborted’错误请求中断
- 深入浅出 Java 8 Lambda 表达式
- Java之DataInputStream和DataOutputStream-用流操作基本数据类型
- PHP之闭包详解
- 百度编辑器的内容改变事件监听bug
- 【一天一道LeetCode】#257. Binary Tree Paths
- Coursera-AndrewNg(吴恩达)机器学习笔记——第三周
- Linux中Tomcat设置开机启动
- PHP可变函数
- wget 的 使用方法
- Android开发(二十)——Fragment中的touch事件
- 使用reactjs做一个CRUD功能
- Jquery与.net MVC结合,通过Ajax
- 移动端HTML5实现文件上传