04-python进阶-map&reduce

Map --映射

Reduce -- 归纳

将大数据标准化的处理

Map 拆封任务，Reduce将结果合并

这样是不是能够将很多计算机组成一台超级计算机呢？

一些问题：如果任务本身就很复杂，那么拆解任务本身就是一个很打的难题。

python 在2.6 的时候增加了 map reduce函数

例如我们可以这样写

import urllib2

urls = [

    'https://www.baidu.com',

    'http://www.douban.com'

]

resurt = map(urllib2.urlopen,urls)

#等价于

resurt = []

for url in urls:

    resurt.append(urllib2.urlopen(url))

　当然我们也可以加上多线程的

import urllib2

from  multiprocessing.dummy import Pool as ThreadPool

urls = [

    'https://www.baidu.com',

    'http://www.douban.com'

]

def get_html(url):

    res = urllib2.urlopen(url)

    html = res.read()

    return html

pool = ThreadPool(4)

results = pool.map(get_html,urls)

pool.close()

pool.join()

print results

巴特西

04-python进阶-map&reduce

最新文章

热门文章