使用threadpool并发测试,报错HTTPConnectionPool Max retires exceeded
2024-08-28 23:20:31
解决方法:和以下答案一致
https://blog.csdn.net/qq_21405949/article/details/79363084
- 场景:
在做爬虫项目或者是在发送网络请求的时候,一般都会用到request模块,但是经常会遇到:
HTTPConnectionPool Max retires exceeded read time out的问题
- 1
查阅资料后发现,出现异常的原因是因为,requests在发送http请求之后,并没有关闭http连接导致,连接过多然后阻塞。
requests使用了urllib3库,默认的http connection 是keep-alive的,requests中可以设置False关闭。
实际在python2中的代码使用
s = requests.session()
s.keep_alive = False
Tips:
网上有的说是:
s = requests.session()
s.config['keep_alive'] = False
单我实际应用中报异常了。最后用第一个成功解决。
总结:
对于request库的诸多应用,应该多熟悉操作。加深印象。
最新文章
- vmware 中ubuntu客户机 安装vmware tool vmhgfs 共享文件夹失败处理
- 未能加载文件或程序集“System.Data.SQLite”或它的一个依赖。试图加载格式不正确的程序
- Android中如何使用Intent在Activity之间传递对象[使用Serializable或者Parcelable]
- java面试笔试
- Linux常用的基本命令
- Android实现数据存储技术
- MongoDB 快速入门--高级
- javascript 事件流及应用
- Linux和Windows互传文件命令(转)
- ShopEx访问提示Incompatible file format: The encoded file has format major ID 2, whereas the Loader expects 4
- Android消息推送之GCM方式(二)
- Django中ORM模型总结(一)[概述,查询语句]
- Kali学习笔记44:SQLMAP
- java实现单链表反转(倒置)
- Nodejs mongoose 详解
- Python-爬虫小例子-55
- Python中特殊函数和表达式lambda,filter,map,reduce
- 【树莓派】服务配置相关3:基于Ubuntu Server的服务配置
- 创建Maven项目出错
- Ubuntu系统下在github中新增库的方法
热门文章
- capacilitys 持续集成
- jquery $.getJSON 注意细节
- 为Ubuntu安装FTP服务
- Intellij IDEA将工程打包成jar包并执行
- Xcode 6.0中彻底关闭ARC
- 用JQuery的$.getJSON发起跨域Ajax请求
- WebForm 在 Global.asax 中捕获全局异常
- Create a conditional DNS forwarder on our domain.com to Amazon default DNS provider
- JS表单验证优化
- jQuery知识点:attr与prop的区别