1 #介绍

 2 ProcessPoolExecutor类是一个Executor子类，它使用进程池异步执行调用。ProcessPoolExecutor使用多处理模块，这允许它绕过全局解释器锁，但也意味着只能执行和返回可拾取的对象。 
 3

 4 class concurrent.futures.ProcessPoolExecutor(max_workers=None, mp_context=None)

 5 一个Executor子类，使用最多包含max_workers进程的池异步执行调用。如果max_workers没有或没有给定，它将默认为机器上的处理器数量。如果max_workers小于或等于0，则会引发ValueError。 6

 7

 8 #用法

 9 from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor

10

11 import os,time,random

12 def task(n):

13     print('%s is runing' %os.getpid())

14     time.sleep(random.randint(1,3))

15     return n**2

16

17 if __name__ == '__main__':
18

19     executor=ProcessPoolExecutor(max_workers=3)

20

21     futures=[]

22     for i in range(11):

23         future=executor.submit(task,i)

24         futures.append(future)

25     executor.shutdown(True)

26     print('+++>')

27     for future in futures:

28         print(future.result())

29

30 ProcessPoolExecutor

#介绍

ThreadPoolExecutor是一个Executor子类，它使用线程池异步执行调用。

class concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='')

一个Executor子类，它使用最多包含max_workers线程的池异步执行调用。

在3.5版中发生了更改：如果没有或没有指定max_workers，它将默认为机器上的处理器数量乘以5，假设ThreadPoolExecutor经常用于重叠I/O而不是CPU工作，并且Worker的数量应该高于ProcessPoolExecutor的工作人员数量。版本3.6中的新增功能：添加了thread_name_prefix参数，以允许用户控制线程。由池创建的工作线程的线程名称，以便于调试。

#用法

与ProcessPoolExecutor相同

ThreadPoolExecutor

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor

import os,time,random

def task(n):

    print('%s is runing' %os.getpid())

    time.sleep(random.randint(1,3))

    return n**2

if __name__ == '__main__':

    executor=ThreadPoolExecutor(max_workers=3)

    # for i in range(11):

    #     future=executor.submit(task,i)

    executor.map(task,range(1,12)) #map取代了for+submit

map的用法

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor

from multiprocessing import Pool

import requests

import json

import os

def get_page(url):

    print('<进程%s> get %s' %(os.getpid(),url))

    respone=requests.get(url)

    if respone.status_code == 200:

        return {'url':url,'text':respone.text}

def parse_page(res):

    res=res.result()

    print('<进程%s> parse %s' %(os.getpid(),res['url']))

    parse_res='url:<%s> size:[%s]\n' %(res['url'],len(res['text']))

    with open('db.txt','a') as f:

        f.write(parse_res)

if __name__ == '__main__':

    urls=[

        'https://www.baidu.com',

        'https://www.python.org',

        'https://www.openstack.org',

        'https://help.github.com/',

        'http://www.sina.com.cn/'

    ]

    # p=Pool(3)

    # for url in urls:

    #     p.apply_async(get_page,args=(url,),callback=pasrse_page)

    # p.close()

    # p.join()

    p=ProcessPoolExecutor(3)

    for url in urls:

        p.submit(get_page,url).add_done_callback(parse_page) #parse_page拿到的是一个future对象obj，需要用obj.result()拿到结果

回调函数