python爬虫中文乱码解决方法
2024-10-19 07:32:11
python爬虫中文乱码
前几天用python来爬取全国行政区划编码的时候,遇到了中文乱码的问题,折腾了一会儿,才解决。现特记录一下,方便以后查看。
我是用python的requests和bs4库来实现爬虫,这两个库的简单用法可参照python爬取当当网的书籍信息并保存到csv文件
乱码未处理前部分代码
url = '要爬取的网页'
r = requests.get(url, timeout=30)
soup = BeautifulSoup(r.text, 'lxml')
乱码原因
我爬取的网页使用的编码是GBK。所以要按GBK编码,才能避免中文乱码。
解决乱码的代码
url = '要爬取的网页'
r = requests.get(url, timeout=30)
r.encoding='GBK' #增加encoding=‘GBK’,解决中文乱码问题
soup = BeautifulSoup(r.text, 'lxml')
【原创声明】转载请标明出处:https://www.cnblogs.com/surecheun/p/9694052.html
最新文章
- 学习笔记---C/C++语法
- synchronized和ReentrantLock
- c#判断闰年
- waf2控件名
- CSS控制文本超出指定宽度显示省略号和文本不换行
- eclipse根据.wsdl文件自动生成webservice的调用客户端
- oracle创建表空间、创建用户、授权、夺权、删除用户、删除表空间
- hdu 2824The Euler function
- 关于shared_ptr与weak_ptr的使用(good)
- 《算法》第五章部分程序 part 5
- 最短路径Dijkstra matlab
- iOS 使用动态库
- HTTP中常见的各种状态码详解及解决方案
- HDU1115&&POJ1385Lifting the Stone(求多边形的重心)
- droup
- SQLite 连接两个字符串
- requests库安装
- Leetcode--easy系列3
- BootstrapValidator 解决多属性被同时校验问题《转》
- Annotation之四:注解中的-Xlint:unchecked和 -Xlint:deprecation