1. def _next_request_from_scheduler(self, spider): fetch一个request，调用http11 handler，client的agent，返回的是deffered。
2. _handle_downloader_output(）if isinstance(response, Request):如果是请求，继续爬行，调用crawl时会把请求放到调度器
               self.crawl(response, spider)
3. def enqueue_scrape( 请求入队
4. def _scrape_next(self, spider, slot):
5. _scrape2
6. call_spider
7. handle_spider_output
8. _process_spidermw_output

最新文章

1. 如何在Ubuntu下的VirtualBox虚拟机（Windows XP）里挂载/使用U盘 （转载）
2. input文本框去除单击时的边框的方法
3. AJAX-----10iframe模拟ajax文件上传效果原理2
4. sql date()函数
5. Ubuntu14.04编译安装mysql5.6.26
6. 继承（引用~析构~virtual）
7. jquery单选框 复选框表格高亮 选中
8. [算法题] Reverse Linked List II
9. DXGI快速截屏录屏技术
10. scala判断数据类型
11. TCP-IP详解笔记5
12. centos7下安装docker（17docker监控---docker自带监控命令）
13. Eclipse中Maven的简单使用
14. CCPC-Wannafly Winter Camp Day3 Div1 - 排列
15. 基于Docker搭建MySQL主从复制
16. Lintcode35-Reverse Linked List-Easy
17. iOS-发送短信验证码倒计时
18. angular学习笔记(三十)-指令(7)-compile和link(3)
19. 【Git 使用笔记】第三部分：多分支开发
20. FlytestingToolkit工具派送，懒人的测试思考

热门文章

1. Java 中统计文件中出现单词的次数练习
2. 项目出现 The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path 解决方法
3. Ubuntn16.04.3配置root权限及启用root用户
4. PAT 乙级 1068 万绿丛中一点红（20 分）
5. 即用了 测试脚本里面的 类的值，又继承了 unittest类 使用他的断言方法 (接口自动化 数据分离 变量相互调用 看这里)
6. 关于requests的session方法保持不了cookie的问题。(seesion的意思是保持一个会话，比如 登陆后继续操作(记录身份信息) 而requests是单次请求的请求，身份信息不会被记录)
7. jQuery对象的获取与操作方法总结
8. MySQL 8.0用户和角色管理
9. c helloworld
10. Mapreduce入门和优化方案