python基础===一行 Python 代码实现并行(转)
2024-10-21 13:25:35
原文:https://medium.com/building-things-on-the-internet/40e9b2b36148
译文:https://segmentfault.com/a/1190000000414339
#from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool
import requests urls = [
'http://www.python.org',
'http://www.python.org/about/',
'http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html',
'http://www.python.org/doc/',
'http://www.python.org/download/',
'http://www.python.org/getit/',
'http://www.python.org/community/',
'https://wiki.python.org/moin/',
'http://planet.python.org/',
'https://wiki.python.org/moin/LocalUserGroups',
'http://www.python.org/psf/',
'http://docs.python.org/devguide/',
'http://www.python.org/community/awards/',
'http://www.python.org/community/fuck/'
# etc..
] pool = ThreadPool(4) # Sets the pool size to 4 def code(x):
r = requests.get(x)
_code = r.status_code
print(f"{x} 状态码是:{_code}")
results = pool.map(code, urls) pool.close()
pool.join()
在生产环境中,我们可以为 CPU 密集型任务和 IO 密集型任务分别选择多进程和多线程库来进一步提高执行速度——这也是解决死锁问题的良方。此外,由于 map 函数并不支持手动线程管理,反而使得相关的 debug 工作也变得异常简单。
最新文章
- form 提交数组的一些trick
- 自动化(Automation)兼容的数据类型
- Matlab boxplot for Multiple Groups(多组数据的箱线图)
- afddaf
- 使用ExtJs实现文件下载
- C++拷贝构造函数详解(转载)
- UEditor上传图片等附件都出现红叉
- Nginx报错:Sorry, the page you are looking for is currently unavailable. Please try again later.
- Java Hibernate 之连接池详解
- Github 开源:高效好用的对象间属性拷贝工具:升讯威 Mapper( Sheng.Mapper)
- CSS3学习系列之动画
- 第2阶段——编写uboot之硬件初始化和制作链接脚本lds(1)
- 将vue的项目打包后通过百度的BAE发布到网上的流程
- Jquery点击除了指定div元素其他地方,隐藏该div
- 快速排序 之添加复合插入排序和原始序列取中值左pivot
- React项目新手指南
- Your ApplicationContext is unlikely to start due to a @ComponentScan of the default package
- 牛客网_Go语言相关练习_选择题(3)
- 上传代码到github的步骤
- delphi dxRibbon中 F10快捷键不好用的原因
热门文章
- GIT的使用方法
- BZOJ5289 HNOI/AHOI2018排列(贪心+堆)
- PHP-从零开始使用Solr搜索引擎服务(下)
- BZOJ 4454: C Language Practice
- BZOJ2802 [Poi2012]Warehouse Store 【贪心】
- Android O 正式版新功能
- bzoj 2839 : 集合计数 容斥原理
- LGP4577【JSOI2018】战争
- bzoj4784【zjoi2017】仙人掌
- 树状数组+二分答案查询第k大的数 (团体程序设计天梯赛 L3-002. 堆栈)