Scrapy学习-25-Scrapyd部署spider
2024-09-07 07:10:49
Scrapyd部署爬虫项目
github项目
https://github.com/scrapy/scrapyd
官方文档
http://scrapyd.readthedocs.org/
安装scrapyd
http://scrapyd.readthedocs.io/en/stable/install.html
运行
# 在虚拟环境中使用scrapd命令 # scrapyd是一个服务器监听在本地的6800端口 scrapyd
安装scrapd客户端
pip install scrapyd-client # 用于项目打包 # python路径的Script目录下发现生成了一个scrapyd-deploy的文件
打包项目到scrapyd中
编辑scrapy.cfg
# 打开scrapyd服务 [deploy:name]
url = http://localhost:6800/
project = ArticleSpider
进入爬虫项目目录
cd E:\Python Project\scrapyproject\ArticleSpider
运行scrapyd-deploy文件
# 由于没有后缀不能运行 # 解决办法:新建一个文件scrapd-deploy.bat,写入下面数据 @echo off "E:\Python Project\venvdir\scrapyenv3\Scripts\python.exe" "E:\Python Project\venvdir\scrapyenv3\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 # 再次执行发现可以使用了 scrapyd-deploy -l # 默认自己读取scrapy.cfg内容 # 如果出现importError问题注意 # import sys
# BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(__file__)))
# sys.path.insert(0, os.path.join(BASE_DIR, 'ArticleSpider')) # 打包spider项目 scrapyd-deploy name -p ArticleSpider # E:\Python Project\venvdir\scrapyenv3\Scripts\eggs\ArticleSpider\xxxx.egg # scrapyd-deploy将项目打包成一个后缀为egg的文件,发送到scrapyd服务器
部署项目
接口认识
http://scrapyd.readthedocs.io/en/stable/api.html
部署命令
curl http://localhost:6800/schedule.json -d project=ArticleSpider -d spider=myspider # 返回 {"status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"} # 刷新scrapy管理页面可以发现新的项目
项目管理
参考官方文档
最新文章
- Windows on Device 项目实践 3 - 火焰报警器制作
- [ACM_模拟] POJ1068 Parencodings (两种括号编码转化 规律 模拟)
- ContentProvider实现流程
- DataGridView常用操作
- 谷歌浏览器提示Adobe Flash Player因过期而遭到阻止
- php header函数要点
- java - final和static 关键字 再记忆
- Entity Framework技巧系列之三 - Tip 9 – 12
- meta 常用标签总结
- DataBinding注意事项Error parsing XML: duplicate attribute以及如何在listview中使用DataBinding
- FrameBuffer系列 之 介绍
- Jasper之table报表
- EFCore数据库迁移命令整理
- HBase最佳实践 - 集群规划
- 【面试题】Java实现String的IndexOf方法
- 基于nmap扫描结果的端口爆破工具:BrutesPray
- 对stm32f373XX的startup.s的文件的分析
- DWZ中刷新dialog的方案解决
- [转]hadoop新手错误解决方法
- Junit 4.x 单元测试,参数化测试,套件测试 实例
热门文章
- 数据分析处理库Pandas——概述
- python3 题目 有四个数字:1、2、3、4,能组成多少个互不相同且无重复数字的三位数?各是多少?
- Linux5个数据段
- CodeForces 781E Andryusha and Nervous Barriers 线段树 扫描线
- SSRS 制作报表时报错: 超时时间已到。在操作完成之前超时时间已过或服务器未响应。
- jq阻止ajax进行多次提交
- Core Java的那点事儿之ArrayList
- 34、Java集合框架List,Map,Set等全面介绍(转载)
- 如何选择Android自动化框架的几点拙见
- zookeeper 下载安装