Python爬取中文页面的时候出现的乱码问题(续)
2024-09-02 08:36:46
我在上一篇博客中说明了在爬取数据的时候,把数据写入到文件的乱码问题
在这一篇里面我做一个总结:
1、首先应该看一个案例
我把数据写在.py文件中:
#coding:utf-8
s = 'hehe测试中文字符'
ss = u'hehe测试中文字符'
uu = s.decode('utf-8')
print s #输出乱码
print uu #正常
print ss #正常
这里需要对中文数据进行编码,输出正常
2、我们针对爬取回来的数据
在读取页面数据的时候已经对其编码 response.read().decode('utf-8')
在把数据写入到数据库的时候,只需要把数据库的连接指定为 utf-8 就可以
MySQLdb.Connect(host=v_host,port=int(v_port),user=v_user,passwd=v_passwd,db=v_db,charset='utf8')
3、可以直接把读取来的数据直接写入到数据库中,不会出现乱码
py文件的其他地方不需要在进行其他的编码,仅仅是在读取response里面的数据的时候进行编码一次
4、在设置Mysql编码的时候切记是:utf8,中间没有横杠
不然会报错:_mysql_exceptions.OperationalError: (2019, “Can’t initialize character set utf-8
最新文章
- 第一天--html
- PHP递归重新排序无限级分类数组
- 同时使用Junit4的@Parameterized参数化测试和Spring容器
- Mysql 事件(定时任务)
- 基于SolrCloud的内容搜索和热点推送
- BlueTooth: 蓝牙基础知识进阶——链路控制操作
- js-方法
- hdu 5631 Rikka with Graph(图)
- Elasticsearch 5.0 安装 Search Guard 5 插件 (五)
- LeetCode OJ 95. Unique Binary Search Trees II
- 大数据测试之Hadoop的基本概念
- 我的第一个python web开发框架(26)——定制ORM(二)
- 【高速接口-RapidIO】4、Xilinx RapidIO核详解
- 利用scrapy_redis实现分布式爬虫
- python nose测试框架全面介绍七--日志相关
- Spring+Mybatis+SpringMVC后台与前台分页展示实例(附工程)
- [Linux]vbox 虚拟机加入新磁盘
- Java集合(4):Iterator(迭代器)
- 一种BIM缺失多态性介导的酪氨酸激酶抑制剂的耐药性
- Android 架构 3.实现
热门文章
- P1142轰炸
- import cv2 报错:ModuleNotFoundError: No module named 'cv2'
- Codeforces 1220C. Substring Game in the Lesson
- Linux五大网络IO模型图解
- wex5 如何写后台BAAS
- RabbitMQ从安装到使用
- 一、H5(移动端)前端使用input type=file 上传图片,调用相机和相册
- celery源码解读
- Django学习系列7:使用模板解决“不测试常量”规则,使用模板重构
- PHP对有道翻译API函数