Python 文件读取
2024-10-16 18:27:00
1. 最基本的读文件方法:
# File: readline-example-1.py file = open("sample.txt") while 1:
line = file.readline()
if not line:
break
pass # do something
一行一行得从文件读数据,显然比较慢;不过很省内存。
在我的机器上读10M的sample.txt文件,每秒大约读32000行
2. 用fileinput模块
# File: readline-example-2.py import fileinput for line in fileinput.input("sample.txt"):
pass
简单一些,不过测试以后发现每秒只能读13000行数据,效率比上一种方法慢了两倍多……
3. 带缓存的文件读取
# File: readline-example-3.py file = open("sample.txt") while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
这个方法真的更好吗?事实证明,用同样的数据测试,它每秒可以读96900行数据!效率是第一种方法的3倍,第二种方法的7倍!
————————————————————————————————————————————————————————————
在Python 2.2以后,我们可以直接对一个file对象使用for循环读每行数据:
# File: readline-example-5.py file = open("sample.txt") for line in file:
pass # do something
而在Python 2.1里,你只能用xreadlines迭代器来实现:
# File: readline-example-4.py file = open("sample.txt") for line in file.xreadlines():
pass # do something
参考:https://www.cnblogs.com/xuxn/archive/2011/07/27/read-a-file-with-python.html
翻译自:http://hi.baidu.com/netspider_2007/blog/item/870354c753e4a71c9c163d64.html
最新文章
- .net 项目 调用webservice 出错,异常信息:对操作“xxx”的回复消息正文进行反序列化时出错。解决方案。
- Hadoop第10周练习—Mahout部署及进行20newsgroup数据分析例子
- 使用RBTool自动提交code review请求
- Linux C 文件与目录4 将缓冲区数据写入磁盘
- CSS自定义文件上传按钮
- asp.net zip 压缩传输
- SQL几个有点偏的语句
- mysql应用技巧
- poj 1410 计算几何
- Windows Server 2008 网管数据采集 努力做“日拱一卒“
- 详细版在虚拟机安装和使用hadoop分布式集群
- os.path python使用遍历文件夹文件
- 6.3 x86处理器如何处理MSI-X中断请求
- pig简单的代码实例:报表统计行业中的点击和曝光量
- cocos2d-x学习之路之工作吐槽
- 实验1 C语言开发环境使用和数据类型,运算符,表达式
- 查询树节点、oracle、select...start with...connect by prior...
- java.net.UnknownHostException 异常处理
- Homebrew 安装mysql
- 如何在angularjs里面选择一个按钮而不改变其他按钮的颜色
热门文章
- 启动期间的内存管理之pagging_init初始化分页机制--Linux内存管理(十四)
- js学习之路2: JavaScript 变量
- 英语口语练习系列-C19-喜欢某人
- 日志学习系列(一)——Log4net的基础知识学习
- Linux操作系统上要慎用的6个命令及防范方法
- 文本分类实战(八)—— Transformer模型
- AI MobileNet
- SkylineGlobe 7.0.1 &; 7.0.2版本Web开发 如何正确使用三维地图控件和工程树控件
- Python爬虫 爬取百合网的女人们和男人们
- Grunt自动化构建环境搭建