Scrapyd API的安装
2024-08-25 09:29:09
安装好了Scrapyd之后,我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如,某台主机的IP为192.168.1.1,则可以直接运行如下命令获取当前主机的所有Scrapy项目:
curl http://localhost:6800/listprojects.json
运行结果如下:
1
|
{"status": "ok", "projects": ["myproject", "otherproject"]}
|
返回结果是JSON字符串,通过解析这个字符串,便可以得到当前主机的所有项目。
但是用这种方式来获取任务状态还是有点烦琐,所以Scrapyd API就为它做了一层封装,下面我们来看下它的安装方式。
1.安装
pip install python-scrapyd-api
2. 验证安装
安装完成之后,便可以使用Python来获取主机状态了,所以上面的操作便可以用Python代码实现:
1
2
3
|
from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
print(scrapyd.list_projects())
|
运行结果如下:
1
|
["myproject", "otherproject"]
|
这样我们便可以用Python直接来获取各个主机上Scrapy任务的运行状态了。
最新文章
- 全局变量:global与$GLOBALS的区别和使用
- 转(zip文件格式说明)
- HTML 学习笔记 CSS(表格)
- JS 学习笔记--4---运算符
- 1989-C. 数字三角形
- virtualbox从.VDI备份文件新建/恢复虚拟机(包括恢复各个备份节点)
- 第二期“晋IT”分享成长沙龙
- 关闭数据库下的所有连接操作 sql存储过程
- 是否可能两个ETH私钥对应同一个地址
- Win7 查看端口占用的进程,并根据进程id杀死进程。
- JavaScript进阶系列1:performace和console.time性能测试
- 无线网络中信噪比(SNR)计算
- MySQL 高可用性—keepalived+mysql双主
- 咏南中间件JSON序列类
- flask with gae开发小结
- 解决Maven下载依赖慢
- 蓝桥杯练习系统算法训练习题加答案java版本
- 解析XMl文档和字符串
- *.hbm.xml作用是什么
- windows下使用xerces -c解析XML
热门文章
- 设置div中的div居中显示
- Mac完整卸载Android Studio的方法
- phonegap/cordova学习建议
- MVC v5.1 Preview 包含 web api 2.1 web pages 3.1
- 原创:MVC 5 实例教程(MvcMovieStore 新概念版:mvc5.0,EF6.01) - 2、数据框架 和 功能预览
- [Elixir002]节点启动后自动连接其它节点
- 执行计划--Adhoc和Prepare
- 理解mvn命令
- .NetCore分布式部署中的DataProtection密钥安全性
- MVC中获取所有按钮,并绑定事件!