ken桑带你读源码之 scrapy

首先更大家说下正式部署上线的爬虫会有分布式爬虫的需求而且原本scrapy 的seen (判断重复url的池不知道用啥词已抓url吧 ) 保存在磁盘

url 队列也是保存在磁盘 (保存在磁盘对爬虫效率会极大影响) 如果是断点重爬声明 jobdir 百分百是保存在磁盘不申明jobdir 的话保存在内存但会有单点内存的上限问题所以说那么多总之 scrapy_redis 是爬虫工程师必须了解的

scrapy_redis/dupefilter.py

判断已抓取url 主要是声明 dupefilter_key 作为 redis key 判断是否已抓取第 100行 added = self.server.sadd(self.key, fp) return added == 0 通过插入返回值判断已抓取url

scrapy_redis/defaults.py

默认配置文件

scrapy_redis/queue.py

队列文件默认PriorityQueue 用到 redis 有序集合 self.server.execute_command('ZADD', self.key, score, data) 留意 100行 score = -request.priority

redis 有序集合是越小排序越优先加了- 等于说是反过来还用到redis的事务 112行 pipe = self.server.pipeline()

先入后出队列是通过 lpush lpop 实现

先进先出 lpush rpop 实现

scrapy_redis/pipelines.py

63 行把 item push 到redis 61行 return deferToThread(self._process_item, item, spider) 返回非阻塞异步函数

scrapy_redis/scheduler.py

引擎文件主要是处理队列的 push pop 154行判断去重 164 加入超时用作阻塞 pop 如果有多条进程读取队列必须用到阻塞保证一致性

有不懂大家尽管问

巴特西