返回目录

本篇索引

（1）文件基本操作

（2）文件内容读出与文件迭代器

（3）输入与输出

（4）pickle与shelve模块

（5）shutil模块

（6）os模块中的常用文件操作

（7）CSV文件操作

（1）文件基本操作

● 文件常用操作

● file对象常用属性

● open(name ,mode='r' ,buffering=-1, errors=None, newline=None, closefd=True, opener=None)

说明：

参数name：含完整路径的文件名

参数mode：见下表中的各个字符，可组合使用，如'rb'或'rw'等。

参数buffering：默认为-1，即缓冲区大小为本系统的磁盘块大小（常为4096字节），也可用其他大于1的数字指定缓冲区大小（字节数）。

参数encoding：文件的编码名称，如：'utf-8'、'ascii'、'cp936'等。

参数newline：控制通用换行符模式的行为，可设置为：'\n', '\r', '\r\n', '', None等。 如果设置为None，所有形式的换行符（如：'\n', '\r', '\r\n'）都会被转换为'\n'。 如果设置为''（空字符串），则所有形式的换行都会被识别为换行符，但输入文本不会转换；

参数closefd：布尔值，控制在调用close()方法时，是否实际关闭底层的文件描述符，一般默认为True。

关于“文本模式”和“二进制模式”的说明：

在Python3中，在文本模式下打开文件，读取操作将返回Unicode字符串；如果在二进制模式下打开文件，将返回字节字符串。

如果文件本身是二进制数据文件，由于read()方法的返回内容格式为字符串，故“文本模式”和“二进制模式”读取的内容看上去都像乱码，需要进一步的处理。

对于文本文件，用“文本模式”和“二进制模式”的效果差不多，唯一的不同是在“文本模式”下，Python会自动对文件中的换行符作一些转换。 在读取Windows格式的文本文件时，会将Windows形式的换行符'\r\n'转换成Python标准形式的换行符'\n'。 同样的，在写入Windows文本文件时，会将Python的换行符'\n'转换成Windows形式的'\r\n'写入文件。 在Linux平台不作任何转换。

返回索引

● seek(offset [,whence])

说明：

根据给定的offset和whence中的偏移规则，将本文件对象的当前位置指针移动到任意位置。offset为一个整数，whence表明offset的偏移起始位置，见下表： （若使用宏名称，需要import os模块

返回索引

● 确保文件被正常关闭的方法

方法一：使用 try / finally

f = open(filename)   # 打开文件

try:

    # …… 文件操作

finally:

    f.close()

方法二：使用 with 上下文管理器

with open(filename) as wf:   # with 打开文件后将其赋值到变量 wf 上

    do_somethin(wf)   

# 上面语句块结束后，文件被自动关闭，即使是异常引起的结束也是如此。

（2）文件内容读出与文件迭代器

如果文件不是很大，传统的文件读出的操作是像下面这样子的（不使用文件迭代器）。

将文件内容一次性全部读出，每次处理一个字符：

f = open(filename)

for c in f.read():

    print(c)

f.close()

将文件所有的行一次性全部读出，每次处理一行：

f = open(filename)

for line in f.readlines():

    print(line)

f.close()

若文件很大，则可以每次仅读取一行：

f = openfile(filename)

while True:

    line = f.readline()

    if not line: break    # 当line返回空值时，表面已读到文件尾

    print(line)

f.close()

而现在，文件对象本身是支持迭代的。也就是说，对于很大的文件，不用一次性全部读出所有内容，用文件对象迭代器就可以在每次循环时只读出文件的一部分。

文件迭代器的用法：

f = open(filename)

for line in f:

    print(line)

f.close()

也可以让Python自己负责关闭文件：

for line in open(filename):

    print(line)

● 使用fileinput模块

使用fileinput模块也可以对文件进行迭代，fileinput模块还提供一些其他方法使能够更方便地对多个文件和多个输入输出流操作。

● fileinput模块中的常用函数

用fileinput对文件进行迭代：

import fileinput

for line in fileinput.input(filename):

    print(line)

对目标文件的每行后面添加行号注释：

# test.py

import fileinput

for line in fileinput.input(inplace=True):    # files参数为空，默认使用sys.argv[1:]作为输入流列表

    line = line.rstrip()

    num = fileinput.lineno()

    print('%-40s # %2i' %(line, num))

# 运行：python test.py a.txt 后，会在a.txt文件的每一行后添加注释行号

（3）输入与输出

Python解释器提供了3种标准文件对象：标准输入、标准输出、标准错误，分别在sys模块中表示为：sys.stdin, sys.stdout, sys.stderr。 通常，stdin被映射到接受用户键盘输入信息，而stdout和stderr在屏幕上生成文本。在某些情况下，集成开发环境（IDE）可能会更改sys.stdin, sys.stdout和sys.stderr。

文件的read()和write()也可以用于输出流和输入流，效果与print()和input()内置函数相同。

import sys

sys.stdout.write('Hello')     # 相当于：print('Hello')

a = sys.stdin.readline()      # 相当于：a = input() ，使用stdin在a中会有一个换行符。

Linux中的管道符号（|），将前一个命令的“标准输入”和后一个命令的“标准输出”连在一起，如果你的程序要读取管道中来的数据，只需使用读标准输入即可，如：

import sys

tx = sys.stdin.read()

● print()函数

print()函数可接收若干个要在屏幕上打印的参数，入参中间用逗号隔开，在屏幕上各个显示的入参之间以空格分隔。 若要将print()的内容重定向到一个文件，可以使用file=outfile关键字参数。若要更改默认的空格分隔，可使用sep=sepchar关键字参数。

print('Hello', 1, 2, 3)   # 输出显示为：Hello 1 2 3

print('Hello', 1, 2, 3, sep=',')    # 输出显示为：Hello,1,2,3

print('Hello', 1, 2, 3, file=f)     # 输出内容重定向到文件对象f

若要在输出文本中大量插入变量，可使用format()方法或string.Template方法，关于它们的用法 详见这里。

● 生成器输出

生成器函数可以以一个数据片段序列的形式输出I/O流，可以像 print() 或 write() 语句一样使用 yield 语句，例如：

def countdown(n):

    while n > 0:

        yield "n is %d\n" % n

        n -= 1

    yield "finish\n"

# 将上述输出发送到文件f：

count = countdown(5)

f.writelines(count)     # 由writelines()负责迭代生成器

# 将上述输出重定向到套接字s：

count = countdown(5)

for chunk in count:

  s.sendall(chunk)      # 由for循环负责迭代生成器

# 将所有输出捕获到一个字符串中

count = countdown(5)

out = "".join(count)    # 由join()负责迭代生成器

一个生成器可以输出小片段文本，另一个函数可以将这些片段收集到大型缓冲区中， 以实现较大的、更高效的I/O操作。对于将输出发送到文件或网络套接字的程序， 这种生成器方法可以显著减少内存的使用，因为整个输出流可以在较小的片段中生成和处理， 而不需要首先收集到一个大型字符串中。下面是一个使用例子：

def countdown(n):

    while n > 0:

        yield "n is %d\n" % n

        n -= 1

    yield "finish\n"

chunk_list = []

buffered_size = 0

for chunk in count:

    chunk_list.append(chunk)

    buffered_size += len(chunk)

    if buffered_size >= MAXBUFFERSIZE:

        outfile.write("".join(chunk_list))    # 将几次的生成器输出拼接成一个中等大小字符串，写入文件

        chunks_list.clear()

        buffered_size = 0

outfile.write("".join(chunk_list))    # 这句用来将最后几次循环中还剩在chunk_list中的数据写入文件

（4）pickle与shelve模块

● pickle模块

pickle模块将对象序列化为一个字节流，这个字节流可以写入到文件并在以后从文件读出还原成对象。出于安全考虑，程序不应该处理来自不可信来源的文件来还原成对象。

序列化用户定义类的实例时，只会序列化数据，不会保存相应的类定义，序列化后的数据只包含相关类和模块的“名称”。且在还原一个实例时，不会调用其类方法__init__()。

pickle模块比较适合用于序列化：数字、字符串、元组、列表、只包含可序列化对象的字典、在模块顶层定义的用户定义类的实例。

● pickle常用方法

序列化对象和还原序列化示例：

# 序列化写入文件：

obj1 = SomeObject()

obj2 = SomeObject()

f = open(filename, 'wb')

pickle.dump(obj1, f)      # 先写入obj1

pickle.dump(obj2, f)      # 再写入obj2

f.close()

# 还原序列化对象：

f = open(filename, 'rb')

o1 = pickle.load(f)

o2 = pickle.load(f)

f.close()

● shelve模块

shelve模块是基于pickle模块建立的，但比pickle模块更加自动化。模块中的open()函数会创建一个Shelve对象，可以当做一个普通字典来使用（键名必须是字符串）。 但与字典不同的是，它包含多所有对象都是通过基于散列表的数据库（dbhash、dbm或gdbm）存储在磁盘上。 在调用其sync()或close()方法后，其内容将被自动写入文件。

shelve模块使用anydbm模块来选择合适的DBM模块使用。在大多数标准Python安装中，它有可能是基于Berkeley库的dbhash。

shelve.open()函数语法如下：

open(filename [,flag='c' [,protocol [,writeback]]])

open()函数打开一个shelve文件，如果文件不存在，就创建它，filename应该是数据库文件名并且不应该包含后缀。

flag可为'r', 'w', 'c', 'n'。'r'表示只读访问；'w'表示读写访问；'c'表示如果数据库不存在便生成数据库文件； 'n'表示强制生成新的数据文件。

protocol含义同pickle模块。writeback为缓存行为，若为True，则所有被访问的条目都缓存在内存中，仅当shelve关闭后才写回， 默认值是False。

● shelve支持的字典操作

shelve使用示例：

import shelve

# 保存到文件：

s = shelve.open('test')    # shelve模块会自动添加扩展名.dat

s['a'] = [1,2,3]

s.close()                  # 保存内容到文件

# 从文件中读出：

s = shelve.open('test')

print(s['a'])

s['b'] = 'abc'             # 追加内容

del s['a']                 # 删除键'a'及其内容

s.sync()                   # 强制保存内容到文件

s.close()                  # close()会自动调用sync()方法而实现保存作用。

shelve还可以不生成文件而将其数据放在内存中的某个字典上，下面的Shelf返回一个shelve对象， 但是其底层存储不是在文件上，而是放在入参dict的字典中：

Shelf(dict [,protocol [,writeback]])

（5）shutil模块

shutil模块用于执行高级的普通文件操作，例如：复制、移动、重命名等，但并不能处理管道、块设备等特殊文件。

（6）os模块中的常用文件操作

● os模块

● os.path模块

os.path模块以一种可移植的方式操作路径名称，可由os模块导入。

（7）CSV文件操作

csv模块用于读取和写入CSV文件，CSV文件由文本行组成，每一行都由分隔符分隔的值组成，分隔符通常是逗号（,）或制表符。

● 读取CSV文件

reader(csvfile [,dialect [,**fmtparms]])

reader()函数返回reader对象，生成输入文件csvfile中每一行输入的值。其中csvfile可以是任何可迭代的对象（一般可以是一个已打开的csv文件对象）， 只要每次迭代生成一个完整的文本行即可。返回的reader对象也是一个迭代器，每次迭代生成一个字符串序列， 序列中的每个元素即为当前迭代行的每个被分隔内容的字符串。dialect参数既可以是包含某中某种方言名称的字符串， 也可以是Dialect对象。目前该模块仅支持两个内置方言：'execl'（默认值）、'execl-tab'，但用户可定义其他方言。

在Linux主机上仅认utf-8格式编码的CSV文件，Windows主机上仅认gbk编码的CSV文件。

fmtparams是一个关键字参数集合，详见下表：

● 写CSV文件

writer(csvfile [,dialect [,**fmtparms]])

writer()函数返回可以用来创建CSV文件的写入对象，csvfile可以是支持write()方法的类文件对象。 dialect含义同reader()；fmtparam含义也基本同reader()，但多了一个关键字参数可用：

writer()返回的对象支持以下方法：

● 字典式写入与读取CSV文件

DictReader(csvfile [,filednames [,restkey [,restval [,dialect [, **fmtparams]]]]])

返回可以像普通reader对象一样操作的对象，不同之处在于：读取文件迭代每一行时返回的是字典对象而不是字符串列表。 filednames指定在返回字典中用作键的字段名称，若忽略该参数则默认使用输入文件的第一行作为每列数据的键名称。 restkey提供用来存储超额数据的字典键名称（例如每行的数据比数据字段名称多时）；restval指定输入中缺少值的字段的默认值。 restkey和restval的默认值为None。dialect和fmtparams的含义同reader()函数。

DictWriter(csvfile [,filednames [,restval [,extrasaction [,dialect [, **fmtparams]]]]])

返回可以像普通writer对象一样操作的对象，不同之处在于：可以将字典写入输出行。fieldnames指定写入文件的键名和键名顺序。 如果字典中缺少fieldnames指定的某个字段名称，那么写入restval的值。extrasaction是一个字符串，指定写入字典中的键未在fieldnames中列出时该如何做。 extrasaction中的默认值是'raise'，即引起ValueError异常，可以使用值'ignore'来忽略异常。dialect和fmtparams的含义同writer()函数。

DictWriter的实例使用的方法同样也是：w.writerow(row) 和 w.writerows(rows) 方法。

返回目录

最新文章

1. ios7 ios8 cell中下划线偏移（separator Insets）处理方法
2. 如何用Matlab将cell数据写入文件
3. oracle在impdp时报ORA-31655和ORA-39154
4. MD5 加密字符串
5. 网站部署后Parser Error Message: Could not load type 的解决方案
6. eclipse 快捷方式大全
7. 如何得到Sessionid的值
8. table中的换行问题
9. miui 系统铃声
10. linux的cron
11. Spring3 （事务管理）
12. js jquery获取当前元素的兄弟级 上一个 下一个元素
13. “failed to excute script xxx” PyInstaller 打包python程序为exe文件过程错误
14. /bin/sh^M:bad interpreter:
15. spark练习题
16. iOS-UIImage变为NSData并进行压缩
17. linux的文件类型和权限
18. Ubuntu解压zip包中文乱码
19. Daily Scrum5 11.7
20. 【转】arm-none-linux-gnueabi-gcc下载

热门文章

1. JQuery中操作元素的属性_对象属性
2. [TimLinux] JavaScript 模态框可拖动功能实现——原始版
3. 2019 ICPC南昌邀请赛网络赛比赛过程及题解
4. BZOJ 3265 志愿者招募加强版(单纯形)
5. Django 08
6. synchronized和volatile区别
7. [从今天开始修炼数据结构]图的最短路径 —— 迪杰斯特拉算法和弗洛伊德算法的详解与Java实现
8. flutter学习之环境配置
9. 《Java Spring框架》Spring切面（AOP）配置详解
10. Caffe源码-Blob类