Scrapy同时启动多个爬虫
2024-08-28 03:23:30
1. 在项目文件夹中新建一个commands文件夹
2. 在command的文件夹中新建一个文件 crawlall.py
3.在crawlall.py 中写一个command类,该类继承 scrapy.commands
from scrapy.commands import ScrapyCommand class Command(ScrapyCommand):
requires_project = True def syntax(self):
return '[options]' def short_desc(self):
return 'Runs all of the spiders' def run(self, args, opts):
spider_list = self.crawler_process.spiders.list()
for name in spider_list:
self.crawler_process.crawl(name, **opts.__dict__)
self.crawler_process.start()
最新文章
- 【Java EE 学习 17 上】【dbutils和回调函数】
- 2.Linux如何学习
- KMeans聚类 K值以及初始类簇中心点的选取 转
- MySQL获取系统性能和状态
- Chrome for Android在Chromium代码库中的提交patch
- Spring、Bean的生命周期
- Objective-c @property和@Synthesize
- RMAN 备份
- rm删除文件时排除特定文件
- 《HelloGitHub》第 13 期
- 计算进程消费cpu和内存
- Lintcode373 Partition Array by Odd and Even solution 题解
- HTTP消息头(HTTP headers)-常用的HTTP请求头与响应头
- CentOS7安装备忘
- POJ 3415 Common Substrings 【长度不小于 K 的公共子串的个数】
- webRTC源码下载 Windows Mac(iOS) Linux(Android)全
- JVM 详解
- HDU4745——Two Rabbits——2013 ACM/ICPC Asia Regional Hangzhou Online
- 刚刚完成了在vs2013中通过 ef连接mysql数据库的工作。感觉没有想象中的简单。试了n次终于成功。故记录成功的方法,希望可以帮到大家
- boost.asio包装类st_asio_wrapper开发教程(转)
热门文章
- Linux Ubuntu 默认root密码
- HDU-1711-Number Sequence(KMP)(Rabin-Karp)
- C\C++ 位域操作
- (二)Java数组的使用
- myecplise上将工程部署到应用下时,经常出现 An internal error occurred during: ";Add Deployment";. java.lang.NullPointEx
- 正则表达式入门-python代码
- Proto3:C++基本使用
- 初识Mybatis之工程搭建
- 日志框架之2 slf4j+logback实现日志架构 ·; 远观钱途
- Oracle字段