[Python 多线程] asyncio (十六)
asyncio
该模块是3.4版本加入的新功能。
先来看一个例子:
def a():
for x in range(3):
print('a.x', x) def b():
for x in 'abc':
print('b.x', x) a()
b() #运行结果:
a.x 0
a.x 1
a.x 2
b.x a
b.x b
b.x c
这个例子是一个典型的串行程序,两个函数调用是在主线程中顺序执行。
有以下几种方法可以让这段程序改为并行:
1. 生成器
2. 多线程
3. 多进程
4. 协程
1)生成器方法:
def a():
for x in range(3):
yield x def b():
for x in 'abc':
yield x m = a()
n = b() for _ in range(3):
print(next(m))
print(next(n)) #运行结果:
0
a
1
b
2
c
使用生成器来实现交替执行。这两个函数都有机会执行,这样的调度不是操作系统的进程、线程完成的,而是用户自己设计的。
2)多线程方法:
import threading,time def a():
for x in range(3):
time.sleep(0.0001)
print('a.x',x) def b():
for x in 'abc':
time.sleep(0.0001)
print('b.x',x) threading.Thread(target=a).start()
threading.Thread(target=b).start() #运行结果:
a.x 0
b.x a
a.x 1
b.x b
a.x 2
b.x c
主要使用sleep函数强制切换来实现伪并行。
3)多进程方式:
import multiprocessing def a():
for x in range(3):
print('a.x',x) def b():
for x in 'abc':
print('b.x',x) if __name__ == '__main__':
multiprocessing.Process(target=a).start()
multiprocessing.Process(target=b).start() #运行结果:
a.x 0
a.x 1
a.x 2
b.x a
b.x b
b.x c
多进程方式才是真正的并行。
4)协程方法:
协程,需要使用到 asyncio 标准库,是Python3.4版本加入的新功能,底层基于selectors实现,包括异步IO、事件循环、协程等内容。
事件循环:
事件循环是asyncio提供的核心运行机制。
程序开启一个无限的循环,使用者会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
4.1 事件循环基类
asyncio.BaseEventLoop 这个类是一个实现细节,它是asyncio.AbstractEventLoop的子类,不可以直接使用
asyncio.AbstractEventLoop 事件循环的抽象基类,这个类是是线程不安全的
4.2 运行事件循环
asyncio.get_event_loop() 返回一个事件循环对象,是asyncio.BaseEventLoop的实例
asyncio.AbstractEventLoop.stop() 停止运行事件循环
asyncio.AbstractEventLoop.run_forever() 一直运行,直到调用stop()
asyncio.AbstractEventLoop.run_until_complete(future) 运行直到future对象运行完成,返回结果
asyncio.AbstractEventLoop.close() 关闭事件循环
asyncio.AbstractEventLoop.is_running() 返回事件循环的运行状态
asyncio.AbstractEventLoop.is_closed() 如果事件循环已关闭,返回True
4.3 协程
协程不是进程、也不是线程,它是用户空间调度完成并发处理的方式。(同一线程内交替执行其实也是伪并发)
并发指的是在一段时间内做了多少、并行指的是同一时刻有多少同时执行。
进程、线程由操作系统完成调度,而协程是线程内完成调度。它不需要更多的线程,也就没有多线程切换带来的开销。
协程是非抢占式调度,只有一个协程主动让出控制权,另一个协程才会被调度。
协程也不需要锁机制,因为是在同一线程中执行。
多CPU下,可以使用多线程和协程配合,既能进程并发又能发挥协程在单线程中的优势。
Python中协程是基于生成器的。
4.4 协程的使用
4.4.1 Python3.4中使用@asyncio.coroutine 、 yield from
#asyncio Python3.4 import asyncio @asyncio.coroutine
def foo(x): #生成器函数上面加了协程装饰器之后就转化成协程函数
for i in range(3):
print('foo {}'.format(i))
yield from asyncio.sleep(x) #调用另一个生成器对象 loop = asyncio.get_event_loop() #获得一个时间循环
loop.run_until_complete(foo(1)) #传入一个生成器对象的调用
loop.close() #运行结果:
foo 0
foo 1
foo 2
[Finished in 3.3s]
此例子在一个生成器函数加了协程装饰器之后,该生成器函数就转化成了协程函数。
4.4.2 Python3.5中使用关键字 async def 、 await ,在语法上原生支持协程
#asyncio Python3.5 import asyncio async def foo(x): #异步定义,协程定义
for i in range(3):
print('foo {}'.format(i))
await asyncio.sleep(x) #不可以出现yield,使用await替换 print(asyncio.iscoroutinefunction(foo))
loop = asyncio.get_event_loop()
loop.run_until_complete(foo(1)) #传入一个协程对象的调用
loop.close() #运行结果:
True
foo 0
foo 1
foo 2
[Finished in 3.3s]
async def 用来定义协程函数,iscoroutinefunction(func)判断func函数是否是一个协程函数。协程函数中可以不包含await、async关键字,但不能使用yield关键字。
其它语法:async with,支持上下文的协程
4.4.3 coroutine asyncio.wait(futures, *, loop=None, timeout=None, return_when=ALL_COMPLETED)
等待futures序列中的协程对象执行完成,futures序列不可以为空。
timeout可以用于控制返回前等待的最大秒数,秒数可以是int或浮点数,如果未指定timeout,则无限制。
#wait多个协程对象
import asyncio @asyncio.coroutine
def a():
for i in range(3):
print('a.x',i)
yield @asyncio.coroutine
def b():
for i in range(3):
print('b.x',i)
yield loop = asyncio.get_event_loop()
tasks = [a(),b()]
loop.run_until_complete(asyncio.wait(tasks)) #传入一个协程对象序列 loop.close() #运行结果:
b.x 0
a.x 0
b.x 1
a.x 1
b.x 2
a.x 2
[Finished in 0.3s]
总结:
传统的多线程、多进程都是系统完成调度,而协程是在进程中的线程内由用户空间调度完成并发处理,主要依靠生成器来实现交替调度。
Python3.4中使用@asyncio.coroutine、yield from调用另一个生成器对象
Python3.5中使用关键字 async def 和 await,且不可以出现yield关键字。
最新文章
- react-native Simulator com+r不能刷新模拟器
- C# MVC 自定义ActionResult实现EXCEL下载
- top 10 tipis on Logging in Java- Tutorial (翻译)
- mac下 home-brew安装及php,nginx环境安装及配置
- Project Settings ->; Editor 设置详解
- dedecms获取字段
- 互联网金融爬虫怎么写-第一课 p2p网贷爬虫(XPath入门)
- 关于web的流程
- qtcreator +vs2013 开发xp下使用的程序
- js精要之继承
- [玩耍]C++控制台扫雷
- 第二篇--Jmeter测试Java请求
- MySQL日期类型和毫秒值相互转换
- PHP算法学习(7) 双向链表 实现栈
- 查看内置命令和非内置命令帮助的几种方法(man、help、info)
- Python 简单soket例子
- Flexbox指南
- 2018-2019-2 20175308实验一 《Java开发环境的熟悉》实验报告
- Word文档中的格式标记大全
- 【刷题】BZOJ 3529 [Sdoi2014]数表