1. 在项目文件夹中新建一个commands文件夹

2. 在command的文件夹中新建一个文件 crawlall.py

3.在crawlall.py 中写一个command类,该类继承 scrapy.commands

from scrapy.commands import ScrapyCommand

class Command(ScrapyCommand):
requires_project = True def syntax(self):
return '[options]' def short_desc(self):
return 'Runs all of the spiders' def run(self, args, opts):
spider_list = self.crawler_process.spiders.list()
for name in spider_list:
self.crawler_process.crawl(name, **opts.__dict__)
self.crawler_process.start()

最新文章

  1. 【Java EE 学习 17 上】【dbutils和回调函数】
  2. 2.Linux如何学习
  3. KMeans聚类 K值以及初始类簇中心点的选取 转
  4. MySQL获取系统性能和状态
  5. Chrome for Android在Chromium代码库中的提交patch
  6. Spring、Bean的生命周期
  7. Objective-c @property和@Synthesize
  8. RMAN 备份
  9. rm删除文件时排除特定文件
  10. 《HelloGitHub》第 13 期
  11. 计算进程消费cpu和内存
  12. Lintcode373 Partition Array by Odd and Even solution 题解
  13. HTTP消息头(HTTP headers)-常用的HTTP请求头与响应头
  14. CentOS7安装备忘
  15. POJ 3415 Common Substrings 【长度不小于 K 的公共子串的个数】
  16. webRTC源码下载 Windows Mac(iOS) Linux(Android)全
  17. JVM 详解
  18. HDU4745——Two Rabbits——2013 ACM/ICPC Asia Regional Hangzhou Online
  19. 刚刚完成了在vs2013中通过 ef连接mysql数据库的工作。感觉没有想象中的简单。试了n次终于成功。故记录成功的方法,希望可以帮到大家
  20. boost.asio包装类st_asio_wrapper开发教程(转)

热门文章

  1. Linux Ubuntu 默认root密码
  2. HDU-1711-Number Sequence(KMP)(Rabin-Karp)
  3. C\C++ 位域操作
  4. (二)Java数组的使用
  5. myecplise上将工程部署到应用下时,经常出现 An internal error occurred during: "Add Deployment". java.lang.NullPointEx
  6. 正则表达式入门-python代码
  7. Proto3:C++基本使用
  8. 初识Mybatis之工程搭建
  9. 日志框架之2 slf4j+logback实现日志架构 · 远观钱途
  10. Oracle字段