scrapy分布式
开始之前我们得知道scrapy-redis的一些配置:PS 这些配置是写在Scrapy项目的settings.py中的!
#启用Redis调度存储请求队列
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#确保所有的爬虫通过Redis去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS:这玩意儿2.X的可以用。3.X的不能用
#SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"
#不清除Redis队列、这样可以暂停/恢复 爬取
#SCHEDULER_PERSIST = True
#使用优先级调度请求队列 (默认使用)
#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
#可选用的其它队列
#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'
#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'
#最大空闲时间防止分布式爬虫因为等待而关闭
#这只有当上面设置的队列类是SpiderQueue或SpiderStack时才有效
#并且当您的蜘蛛首次启动时,也可能会阻止同一时间启动(由于队列为空)
#SCHEDULER_IDLE_BEFORE_CLOSE = 10
#将清除的项目在redis进行处理
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 300
}
#序列化项目管道作为redis Key存储
#REDIS_ITEMS_KEY = '%(spider)s:items'
#默认使用ScrapyJSONEncoder进行项目序列化
#You can use any importable path to a callable object.
#REDIS_ITEMS_SERIALIZER = 'json.dumps'
#指定连接到redis时使用的端口和地址(可选)
#REDIS_HOST = 'localhost'
#REDIS_PORT = 6379
#指定用于连接redis的URL(可选)
#如果设置此项,则此项优先级高于设置的REDIS_HOST 和 REDIS_PORT
#REDIS_URL = 'redis://user:pass@hostname:9001'
#自定义的redis参数(连接超时之类的)
#REDIS_PARAMS = {}
#自定义redis客户端类
#REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient'
#如果为True,则使用redis的'spop'进行操作。
#如果需要避免起始网址列表出现重复,这个选项非常有用。开启此选项urls必须通过sadd添加,否则会出现类型错误。
#REDIS_START_URLS_AS_SET = False
#RedisSpider和RedisCrawlSpider默认 start_usls 键
#REDIS_START_URLS_KEY = '%(name)s:start_urls'
#设置redis使用utf-8之外的编码
#REDIS_ENCODING = 'latin1'
最新文章
- [Windows] win7 配置Java开发环境
- WCF 安全性 之 Windows
- [ASP.NET] Dictionary 和 Hashtable 区别
- base64和图片的互转(HTML5的File实现)
- 生成动态前缀且自增号码的Oracle函数
- Ion-affix &; Ion-stick 仿IOS悬浮列表插件
- 前端UI框架《Angulr》入门
- 我的第一个python web开发框架(10)——工具函数包说明(一)
- 前端安全类——CSRF/XSS
- 初识Log4Net
- .net Core使用Orcle官方驱动连接数据库
- mysql全文索引之模糊查询
- java ssl 使用不同的加密套件,对性能影响很大
- iterm2 + zsh + oh-my-zsh +autojump
- mongo数据库查询结果不包括_id字段方法
- js做小数运算精度问题
- Leetcode 98 验证二叉搜索树 Python实现
- Android缓存
- CentOS 6.5 配置IP地址的三种方法
- [CF730J]Bottles
热门文章
- JVM 堆参数调优 (四)
- spring boot 整合 RabbitMq (注解)
- linux中的设备类型
- BZOJ1047或洛谷2216 [HAOI2007]理想的正方形
- 简单的node 服务端 响应get,返回json数据;
- Window7安装tensorflow整套环境详细流程
- jquery Nestable 获取改变排序后的json数据 拖动排序
- unity luaFramework
- How to Create Triggers in MySQL
- 2018.10.26 NOIP模拟 图(最小生成树+线段树合并)