[爬虫]爬虫时碰到的IOError: [Errno ftp error] [Errno 10060]错误的原因以及解决方法
2024-08-24 12:43:58
IOError: [Errno ftp error] [Errno 10060]
原因是爬取页面过快造成暂时被网站ban掉的情况,设置time.sleep(1)就好,后来发现ban的时间不定,就自己动手写了个暴力的做法
import time def 函数名(参数): error_time = 0 while True: time.sleep(1) try: 此处写执行的函数 except: error_time += 1 if error_time == 100: print 'your network is little bad' time.sleep(60) if error_time == 101: print 'your network is broken' break continue break
这样就能解决大多数被ban的情况,效果还可以。
最新文章
- ASP.NET Boilerplate
- mysql语句中日期函数和日期的加减运算
- C#的变迁史 - C# 3.0篇
- Linux 下模拟Http 的get or post请求(curl和wget两种方法)
- POJ 1442 Black Box
- Lucene搜索方法总结
- js object(对象)
- 问题解决:使用angularjs、ionic框架如何实现返回上一页并刷新
- Ubuntu14.0.4 64位安装ADT问题
- MySQL临时表与派生表(简略版)
- Vuforia开发完全指南(四)--- Image Target
- Java面向对象 IO (一)
- 机器学习---感知机(Machine Learning Perceptron)
- SpringBoot系列: JdbcTemplate 快速入门
- 配置STP、RSTP以及负载均衡
- (21)jq动画
- 多线程 Runnable 实现线程 内部类
- 一个web应用的诞生(3)--美化一下
- shiro登录成功之后跳转原路径
- 使用/dev/uinput的简要介绍(含demo程序)【转】
热门文章
- WinCE中断结构分析
- LeetCode(32)-Binary Tree Level Order Traversal
- Spring Boot通过命令行启动发生FileNotFoundException
- 自定义UICollectionViewLayout 布局实现瀑布流
- iOS中用UILabel实现UITextView的占位文字
- Oracle表空间和表的常用操作指令
- mysql6.5 操作日志
- JasperReport的安装
- mysql性能优化之-innodb_flush_log_at_trx_commit
- Nodejs经验谈