解决requests获取源代码时中文乱码问题
2024-10-20 11:33:08
用requests获取源代码时,如果是中文网页,就可能会出现乱码,下面我以中关村的网站为例:
import requests url = 'http://desk.zol.com.cn/meinv/'
r = requests.get(url)
print r.text
执行上面这个脚本你会看到中文部分都变成乱码。
print r.encoding
通过上面的代码你会发现从requests获取到的编码是ISO-8859-1,而该网页的编码是gb2312,所以打印出来的编码就都变成乱码了,那么该如何解决这个问题呢?
其实只需将编码设为gb2312即可,完整的代码如下:
import requests url = 'http://desk.zol.com.cn/meinv/'
r = requests.get(url)
r.encoding = 'gb2312'
print r.text
有些童鞋喜欢用content来获取源代码,如果直接将上面代码中的text改为content的话,你会发现获取到的源代码依旧是乱码,所以上面的代码不适用于content方式获取源代码。
通过content获取源代码的童鞋可以看这里:
import requests
from lxml import etree url = 'http://desk.zol.com.cn/meinv/'
r = requests.get(url)
code = r.content.decode('gb2312')
print code
最新文章
- Android 强烈推荐:程序员接私活那点事
- Android版本4.0~7.0
- JS中innerHTML 和innerText和value的区别
- Win10如何设置相关性
- kail新手安装
- Online DDL与pt-online-schema-change
- CS=0xFFFF IP=0x0000与CS=F000 IP=FFF0
- 关于Weblogic Server(介绍)
- VS2008 error C2470
- ThinkPHP 的模型使用对数据库增删改查(五)
- jQuery的理论基础
- python之控制台(console)颜色显示
- 第十三课 CSS外观及样式的应用 css学习3
- pytorch基础教程1
- PHP大数据处理要注意的
- Hibernate 的Configuration、sessionFactory和session和transaction对象解释
- javascript完美拖拽的实现
- 『PyTorch』第十六弹_hook技术
- 如何通过rman的增量备份恢复dataguard中standby端的数据
- Servlet入门实践