python同步IO编程——基本概念和文件的读写

IO——Input/Output，即输入输出。对于计算机来说，程序运行时候数据是在内存中的，涉及到数据交换的地方，通常是磁盘、网络等。比如通过浏览器访问一个网站，浏览器首先把请求数据发送给网站服务器，这个动作叫外发数据，即Output，随后网站服务器把数据网页发送给浏览器，这个动作是从外面接收数据，即Input。从磁盘读取文件到内存，叫Input，反过来，吧数据写到磁盘的文件里，叫Output操作。

IO编程中，一般都是用Stream（流）的概念来描述数据的动作，Input Stream 表示数据流进内存，Output Stream表示数据从内存中流出去。

一般来说，CPU和内存的运行速度远远高于外设的速度，外设的速度往往是制约系统性能的瓶颈。比如，要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分：

同步IO：CPU等着，也就是程序暂停执行后续代码，等100M的数据在10秒后写入磁盘，再接着往下执行

异步IO：是CPU不等待，只是告诉磁盘，“您老慢慢写，不着急，我接着干别的事去了”，于是，后续代码可以立刻接着执行

同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO，这里我们先介绍同步IO编程。

现代操作系统都不会允许普通的程序直接操作磁盘，读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象（通常我们称为文件描述符），然后操作系统提供接口从这个文件对象中读取数据，或者把数据写入到这个文件中，

读文件

python内置了open()函数用于读取文件，需要传入文件名和标识符：

 f = open('err.py','r')

其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误：

>>> f = open('/err.py','r')

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

FileNotFoundError: [Errno 2] No such file or directory: '/err.py'

成功读取文件后，可以使用read()方法一次性读取文件中所有的内容，以str的类型表示：

>>> f.read()

"def foo(s):\n    return 10 / int(s)\ndef bar(s):\n    return foo(s) * 2\ndef main():\n ……

最后一步，非常重要——调用close()函数关闭文件：

>>> f.close()

>>> f.read()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

ValueError: I/O operation on closed file.

通常，我们在读写文件的时候可能产生IOError错误，为了确保一定要执行close动作，我们可以使用try……finally来实现：

>>> try:

...     f = open('err.py','r')

...     print(f.read())

... finally:

...     if f :

...             f.close()

...

def foo(s):

    return 10 / int(s)

def bar(s):

    return foo(s) * 2

def main():

    bar('')

main()

>>> f.read()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

ValueError: I/O operation on closed file.

如果我们多次打开文件，这个过程有点啰嗦。python提供了with语句，将会自动调用close()方法：

>>> with open('err.py','r') as f:

...     print(f.read())

...

def foo(s):

    return 10 / int(s)

def bar(s):

    return foo(s) * 2

def main():

    bar('')

main()

>>> f.read()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

ValueError: I/O operation on closed file.

另外，如果文件过大，一次性打开内存会吃不消的，而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法，每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容；readlines()允许我们一次性读取所有内容并分行返回，返回结果是个list。

>>> f = open('err.py','r')

>>> f.readline()

'def foo(s):\n'

>>> f.readline()

'    return 10 / int(s)\n'

>>> f.readline()

'def bar(s):\n'

>>> f.readlines()

['    return foo(s) * 2\n', 'def main():\n', "    bar('0')\n", '\n', 'main()']

>>> f.readlines()

[]

我们由此发现，每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的，可以想象成有一个虚拟的光标存在。

要读取二进制文件，比如图片、视频等等，用'rb'模式打开文件即可：

>>> f =  open('C:/Users/WC/Pictures/图片/头像.jpg','rb')

>>> f.read()

b'\xff\xd8\xff\xe0\x00\x10J……

另外，open()函数还可以通过传入encoding参数，表示用指定编码打开文件；

如果有些文件中夹杂了一些非法编码的字符，open()函数还可以接受一个errors参数，表示遇到编码错误后如何处理，其中ignore表示直接忽略错误：

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

写文件

当open()函数传入的标识符为'w'或者‘wb’时，表示写文本文件或者二进制文件：

>>> f = open('/Users/wc/test.txt', 'w',encoding='gbk')

>>> f.write('Hello, world!')

>>> f.close()

上面的语句会把‘Hello, world!’直接覆盖原始的文件；如果想把要写入的内容追加在原始文件后面，可以添加参数'a',表示append的意思。

切记：写入文件后，一定不要忘了close()文件，否则不能保证数据全部都写入磁盘！！！

file-like Object

像open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object。除了file外，还可以是内存的字节流，网络流，自定义流等等。file-like Object不要求从特定类继承，只要写个read()方法就行

巴特西

python同步IO编程——基本概念和文件的读写

最新文章

热门文章