准备写一个python脚本抓取网页数据,前面抓了几个都没有什么问题,但总会抓取不完整,在中间过程中没有反应,发现执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:
import socket

然后:
socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

当然,如果是urllib2就更简单,而且现实中,urllib,urllib2常会一起使用(两者分别提供不同的功能)

html = urllib.urlopen(url).read()
修改为
import urllib2
html = urllib2.urlopen(url, timeout=60).read()

最新文章

  1. ASP.NET 5 使用 TestServer 进行单元测试
  2. IE7浏览器窗口大小改变事件执行多次bug(转)
  3. [C#6] 2-nameof 运算符
  4. C# HttpWebRequest GET HTTP HTTPS 请求
  5. Winfrom 开发小技能
  6. mac下有道词典用不了
  7. Entity Framework 实体框架的形成之旅--基于泛型的仓储模式的实体框架(1)
  8. java读取properties文件的内容
  9. 微软职位内部推荐-SENIOR PRODUCER
  10. margin,padding之我见
  11. JS+css滑动菜单简单实现
  12. android:layout_gravity="bottom"不起作用问题
  13. 中文分词算法之最大正向匹配算法(Python版)
  14. 学java网络编程的心得体会
  15. [ASP.NET MVC] Razor 布局
  16. js实现把网页table导成Excel(bootstrap、JqGrid、Json)
  17. oracle-scn
  18. 利用docker hub做中转拉取google的k8s镜像
  19. 《翻译》PEP 380 – 委托子生成器语法
  20. Linux下配置MySQL需要注意的几点

热门文章

  1. OpenShift 如何获取bearer Token以便进行各种API调用
  2. Out of memory: Kill process 内存不足
  3. IIS - 无后缀(无扩展名)的MIME类型配置
  4. jquery操作CSS样式全记录
  5. 【python】列出http://www.cnblogs.com/xiandedanteng/p/中的标题
  6. PHP如何使用免费在线客服插件
  7. PHP超过三十秒怎么办Maximum execution time of 30 seconds exceeded
  8. 静态库与动态库的制作以及程序的动态函数库解析ldd;ldconfig与/etc/ld.so.conf
  9. DBCP( 二) DataBase Connection Pool 的使用
  10. KVM虚拟化学习笔记系列文章列表(转)