前言
快要毕业那会儿,在下编写了一个招聘网站招聘岗位的爬虫提供给前女神参考,最开始我是存到mysql中,然后在到处一份csv文件给前女神。到了参加工作后,由于经常使用excel绘制图表(谁叫公司做报表全用excel呢…………….),在下才瞬间顿悟,有时候将爬虫爬取的数据直接存到csv中或许会更加方便一些!

既然涉及到爬虫的写入文件,那这里我就先介绍python对csv的写!
1、csv的写
python自带了csv模块提供用户对csv文件进行读写操作,要对csv文件进行写操作,首先要创建一个writer对象,参考help(csv.writer),情况如下

调用writer对象的前提是:需要传入一个文件对象,然后才能在这个文件对象的基础上调用csv的写入方法writerow(写入一行)writerrow(写入多行)。写入数据的代码如下:

import csv

headers = ['class','name','sex','height','year']

rows = [
[1,'xiaoming','male',168,23],
[1,'xiaohong','female',162,22],
[2,'xiaozhang','female',163,21],
[2,'xiaoli','male',158,21]
]

with open('test.csv','w')as f:
f_csv = csv.writer(f)
f_csv.writerow(headers)
f_csv.writerows(rows)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
这段代码我首先定义了写入csv文件的表头、每一列的内容,然后打开一个csv文件,将文件对象作为参数传给csv.writer(),最后将表头和每一行的内容写入到csv文件中。
执行结果:

注意:如果打开csv文件出现空行的情况,那么需要添加一个参数 newline=”(我使用windows出现了这种情况,使用linux mint没有出现)
with open('test.csv','w',newline='')as f:
1
2、写入字典序列的数据

参考help(csv.DictWriter)可知,在写入字典序列类型数据的时候,需要传入两个参数,一个是文件对象——f,一个是字段名称——fieldnames,到时候要写入表头的时候,只需要调用writerheader方法,写入一行字典系列数据调用writerrow方法,并传入相应字典参数,写入多行调用writerows
具体代码如下:

import csv

headers = ['class','name','sex','height','year']

rows = [
{'class':1,'name':'xiaoming','sex':'male','height':168,'year':23},
{'class':1,'name':'xiaohong','sex':'female','height':162,'year':22},
{'class':2,'name':'xiaozhang','sex':'female','height':163,'year':21},
{'class':2,'name':'xiaoli','sex':'male','height':158,'year':21},
]

with open('test2.csv','w',newline='')as f:
f_csv = csv.DictWriter(f,headers)
f_csv.writeheader()
f_csv.writerows(rows)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
运行结果:

3、csv文件的读
读取csv时需要使用reader,并传如一个文件对象,而且reader返回的是一个可迭代的对象,需要使用for循环遍历,代码如下:

import csv
with open('test.csv')as f:
f_csv = csv.reader(f)
for row in f_csv:
print(row)
1
2
3
4
5
运行结果:

在上面,row是一个列表,如果想要查看固定的某列,则需要加上下标,例如我想要查看name,那么只需要改为row[1]

import csv
with open('test.csv')as f:
f_csv = csv.reader(f)
for row in f_csv:
print(row[1])
1
2
3
4
5

---------------------
版权声明:本文为CSDN博主「katyusha1」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/katyusha1/article/details/81606175

最新文章

  1. js常用工具类.
  2. TFS 服务端默认端口更改
  3. JS实现上传本地图片前先预览
  4. MVC 学习系列-Controller
  5. Python的 is 运算符
  6. Java多线程——<一>概述、定义任务
  7. Linux进程IPC
  8. thinkphp的nginx配置
  9. CentOS 7 安装教程
  10. Android设备连接Unity Profiler性能分析器
  11. Java-判断一个数是不是素数
  12. 2017上半年技术文章集合【Android】—184篇文章分类汇总
  13. group by 拓展
  14. 存货控制中的ABC分类释义
  15. 【JAVA】杨辉三角
  16. tomcat启动时引用非JAVA_HOME的指定路径
  17. 压缩跟踪Compressive Tracking(转)
  18. js元素闪动效果
  19. owl.carousel
  20. jquery插件使用记录

热门文章

  1. mybatis generator 源码修改
  2. Oozie 3.3.1安装
  3. Java类初始化和实例初始化过程
  4. oracle ojdbc 版本须对应,否则日期字段查询结果与实际值可能不一致
  5. c++ try_throw_catch异常处理
  6. luoguP3261_[JLOI2015]城池攻占
  7. 【iOS】正則表達式抓取网页数据制作小词典
  8. python 路径操作工具 pathlib,比 os 模块好用太多
  9. python初始装饰器
  10. 剑指offer-7:调整数组顺序使奇数位于偶数前面