1. 最基本的读文件方法:

# File: readline-example-1.py

file = open("sample.txt")

while 1:
line = file.readline()
if not line:
break
pass # do something

  一行一行得从文件读数据,显然比较慢;不过很省内存。

  在我的机器上读10M的sample.txt文件,每秒大约读32000行

2. 用fileinput模块

# File: readline-example-2.py

import fileinput

for line in fileinput.input("sample.txt"):
pass

  简单一些,不过测试以后发现每秒只能读13000行数据,效率比上一种方法慢了两倍多……

3. 带缓存的文件读取

# File: readline-example-3.py

file = open("sample.txt")

while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something

  这个方法真的更好吗?事实证明,用同样的数据测试,它每秒可以读96900行数据!效率是第一种方法的3倍,第二种方法的7倍!

————————————————————————————————————————————————————————————

  在Python 2.2以后,我们可以直接对一个file对象使用for循环读每行数据:

# File: readline-example-5.py

file = open("sample.txt")

for line in file:
pass # do something

  而在Python 2.1里,你只能用xreadlines迭代器来实现:

# File: readline-example-4.py

file = open("sample.txt")

for line in file.xreadlines():
pass # do something

参考:https://www.cnblogs.com/xuxn/archive/2011/07/27/read-a-file-with-python.html

翻译自:http://hi.baidu.com/netspider_2007/blog/item/870354c753e4a71c9c163d64.html

最新文章

  1. .net 项目 调用webservice 出错,异常信息:对操作“xxx”的回复消息正文进行反序列化时出错。解决方案。
  2. Hadoop第10周练习—Mahout部署及进行20newsgroup数据分析例子
  3. 使用RBTool自动提交code review请求
  4. Linux C 文件与目录4 将缓冲区数据写入磁盘
  5. CSS自定义文件上传按钮
  6. asp.net zip 压缩传输
  7. SQL几个有点偏的语句
  8. mysql应用技巧
  9. poj 1410 计算几何
  10. Windows Server 2008 网管数据采集 努力做“日拱一卒“
  11. 详细版在虚拟机安装和使用hadoop分布式集群
  12. os.path python使用遍历文件夹文件
  13. 6.3 x86处理器如何处理MSI-X中断请求
  14. pig简单的代码实例:报表统计行业中的点击和曝光量
  15. cocos2d-x学习之路之工作吐槽
  16. 实验1 C语言开发环境使用和数据类型,运算符,表达式
  17. 查询树节点、oracle、select...start with...connect by prior...
  18. java.net.UnknownHostException 异常处理
  19. Homebrew 安装mysql
  20. 如何在angularjs里面选择一个按钮而不改变其他按钮的颜色

热门文章

  1. 启动期间的内存管理之pagging_init初始化分页机制--Linux内存管理(十四)
  2. js学习之路2: JavaScript 变量
  3. 英语口语练习系列-C19-喜欢某人
  4. 日志学习系列(一)——Log4net的基础知识学习
  5. Linux操作系统上要慎用的6个命令及防范方法
  6. 文本分类实战(八)—— Transformer模型
  7. AI MobileNet
  8. SkylineGlobe 7.0.1 & 7.0.2版本Web开发 如何正确使用三维地图控件和工程树控件
  9. Python爬虫 爬取百合网的女人们和男人们
  10. Grunt自动化构建环境搭建