python乱码问题之爬虫篇

2024-08-28 23:06:19

UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 167: illegal multibyte sequence

使用下面的代码有的时候会报错，说什么GBK无法解码...，原因是output的默认编码跟随系统，utf-8的字符GBK有可能不认识于是报错

from urllib.request import Request

from urllib.request import urlopen

url = 'http://www.cnblogs.com'

data = None

headers = {}

req = Request(url, data, headers)

resp = urlopen(req)

print(resp.read().decode('utf-8'))

查看python的默认编码

import sys

print(sys.getdefaultencoding()) #utf-8

解决办法

替换掉不能解析的字符
设置stdout的编码

import io

import sys

import urllib.request

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码

res=urllib.request.urlopen('http://www.baidu.com')

htmlBytes=res.read()

print(htmlBytes.decode('utf-8'))

永久性修改python默认编码 http://pako.iteye.com/blog/1153343

import sys

print(sys.setdefaultencoding()) #utf-8

文件写入编码错误

print有坑就算了，writelines写入文件也报这个gbk无法编码的问题

解决办法：

//设置编码就搞定了

html=open(line,'w',encoding='utf-8')

### 总结
这些编码问题其实是一些函数在使用时使用了默认的编码，相应的传入和改变其使用的编码就搞定了。

最新文章

热门文章