Scrapyd部署
2024-08-29 10:13:00
从github(https://github.com/scrapy/scrapyd)下载安装包
放到D:\python\Lib\site-packages\
解压压缩包:cd 到解压目录
python setup.py install
执行命令:Scrapyd;如下证明安装成功
在项目中找到scrapy.cfg文件,编辑如下:
在scrapy.cfg所在目录中执行命令:
scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置
报错:'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序 或批处理文件。
在windows上使用scrapyd-client
安装后,并不能使用相应的命令'scrapyd-deploy'
需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件
内容填充为:
@echo off
"C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
在scrapy.cfg所在目录中重新执行命令:
scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置
现在只是将项目发布到目标地址,但是没有调度爬虫,调度爬虫需要用到curl命令,如下:
spd是自定义的:
curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd
如果window下没有安装crul工具包,会
报错:curl不是内部或外部命令,也不是可运行的程序 或批处理文件。
下载:http://curl.haxx.se/download.html;找到系统对应的版本;下载到本地并解压,找到curl.exe 所在路径配置到系统环境变量中;
再次输入:
curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd
参考:
http://www.jianshu.com/p/694a56b2199a
http://blog.wiseturtles.com/posts/scrapyd.html
http://blog.csdn.net/xxwang6276/article/details/45745181
最新文章
- 【原】FMDB源码阅读(二)
- 参考bootstrap中的popover.js的css画消息弹框
- Design6:选择合适的数据类型
- git远程仓库
- WinForm DataGridView根据选中的复选框删除
- C#复习⑤
- UVA10054The Necklace (打印欧拉路)
- C#基础总结之七面向对象知识点总结1
- NuGet的几个小技巧
- Android Toolbar样式定制详解
- C#判断用户是否使用微信浏览器,并据此来显示真实内容或二维码
- Android调用相册截取图片遇到的问题
- link方式安装Eclispe插件:greenUML
- Weblogic8.1 的性能优化
- 怎样找Android里自带的数据库?
- Qt Lite
- 表单验证的validate.js插件---jQuery Validation Plugin
- javascript第十五课:DOM
- 程序缩小到托盘后系统就无法关机(解决方案)——处理WM_QUERYENDSESSION消息,并把它标识为处理过了
- Hibernate级联之一对多和inverse解析