scrapy的cmdline命令

1.启动爬虫的命令为:scrapy crawl (爬虫名)

2.还可以通过以下方式来启动爬虫

  方法一:创建一个.py文件(这里的爬虫文件名可以自己定义,例:myspider.py)

  

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from scrapy import cmdline
# 方式一:注意execute的参数类型为一个列表
cmdline.execute('scrapy crawl spidername'.split())
# 方式二:注意execute的参数类型为一个列表
cmdline.execute(['scrapy', 'crawl', 'spidername'])

  方法二:在终端通过 python myspider.py 也可以执行该文件。

最新文章

  1. 《JavaScript语言精粹》—— 读书总结
  2. PHP分页代码
  3. MySql数据源配置
  4. Jenkins 2.x版本的节点配置选项更新
  5. css3 -- 过渡与动画
  6. Selenium自动化测试项目案例实践公开课
  7. Nginx下Redmine配置
  8. js去掉空格
  9. flask中的request.form对象方法
  10. WPF SplitButton 的杂七杂八
  11. POJ --2104
  12. 【转】Hibernate和ibatis的比较
  13. XCode: duplicate symbol
  14. Python网络爬虫与如何爬取段子的项目实例
  15. Java项目的导入和导出
  16. 使用Python制作第一个爬虫程序
  17. Java集合类源码解析:HashMap (基于JDK1.8)
  18. C# webbrowser判断页面是否加载完毕
  19. 643. Maximum Average Subarray I
  20. .Net开发八年,坐标杭州,上个月换工作感觉现在.Net岗位很少,希望和同在杭州的同行们交流一下

热门文章

  1. Radware:上周五美国大规模DDoS攻击是如何发生的
  2. 11.25-11.27 配置防盗链,访问控制(Directory,FilesMatch)
  3. unittest 管理用例生成测试报告
  4. CRT 连接AWS-EC2
  5. 我在 IntelliJ IDEA 中必有得插件和配置
  6. C++中const的特性
  7. B - Planning 早训 贪心
  8. 前端福利,用 JS 就能实现抖音养号等诸多功能
  9. Collections集合工具类常用的方法
  10. 关于 k210 的 micropython 添加 ussl 模块,实现 https 访问支持的那些事。