scrapy 6023 telnet查看爬虫引擎相关状态
2024-10-20 06:37:37
Telnet终端(Telnet Console)
Scrapy提供了内置的telnet终端,以供检查,控制Scrapy运行的进程。 telnet仅仅是一个运行在Scrapy进程中的普通python终端。因此您可以在其中做任何事。
telnet终端是一个 自带的Scrapy扩展 。 该扩展默认为启用,不过您也可以关闭。 关于扩展的更多内容请参考 Telnet console 扩展 。
如何访问telnet终端
telnet终端监听设置中定义的 TELNETCONSOLE_PORT
,默认为 6023
。 访问telnet请输入:
telnet localhost 6023
>>>
Windows及大多数Linux发行版都自带了所需的telnet程序。
telnet终端中可用的变量
telnet仅仅是一个运行在Scrapy进程中的普通python终端。因此您可以做任何事情,甚至是导入新终端。
telnet为了方便提供了一些默认定义的变量:
快捷名称 | 描述 |
---|---|
crawler |
Scrapy Crawler (scrapy.crawler.Crawler 对象) |
engine |
Crawler.engine属性 |
spider |
当前激活的爬虫(spider) |
slot |
the engine slot |
extensions |
扩展管理器(manager) (Crawler.extensions属性) |
stats |
状态收集器 (Crawler.stats属性) |
settings |
Scrapy设置(setting)对象 (Crawler.settings属性) |
est |
打印引擎状态的报告 |
prefs |
针对内存调试 (参考 调试内存溢出) |
p |
pprint.pprint 函数的简写 |
hpy |
针对内存调试 (参考 调试内存溢出) |
Telnet console usage examples
下面是使用telnet终端的一些例子:
查看引擎状态
在终端中您可以使用Scrapy引擎的 est()
方法来快速查看状态:
telnet localhost 6023
>>> est()
Execution engine status time()-engine.start_time : 8.62972998619
engine.has_capacity() : False
len(engine.downloader.active) : 16
engine.scraper.is_idle() : False
engine.spider.name : followall
engine.spider_is_idle(engine.spider) : False
engine.slot.closing : False
len(engine.slot.inprogress) : 16
len(engine.slot.scheduler.dqs or []) : 0
len(engine.slot.scheduler.mqs) : 92
len(engine.scraper.slot.queue) : 0
len(engine.scraper.slot.active) : 0
engine.scraper.slot.active_size : 0
engine.scraper.slot.itemproc_size : 0
engine.scraper.slot.needs_backout() : False
暂停,恢复和停止Scrapy引擎
暂停:
telnet localhost 6023
>>> engine.pause()
>>>
恢复:
telnet localhost 6023
>>> engine.unpause()
>>>
停止:
telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.
Telnet终端信号
scrapy.telnet.
update_telnet_vars
(telnet_vars)-
在telnet终端开启前发送该信号。您可以挂载(hook up)该信号来添加,移除或更新 telnet本地命名空间可用的变量。 您可以通过在您的处理函数(handler)中更新
telnet_vars
字典来实现该修改。参数: telnet_vars (dict) – telnet变量的字典
Telnet设定
以下是终端的一些设定:
TELNETCONSOLE_PORT
Default: [6023, 6073]
telnet终端使用的端口范围。如果设为 None
或 0
, 则动态分配端口。
TELNETCONSOLE_HOST
默认: '127.0.0.1'
telnet终端监听的接口(interface)。
最新文章
- spring源码:ApplicationContext的增强功能(li)
- JokeClient-Swift 仿写学习
- Python强化训练笔记(七)——使用deque队列以及将对象保存为文件
- Python Beautiful Soup学习之HTML标签补全功能
- Atitit.java图片图像处理attilax总结
- 《精通移动app测试实战:技术、工具和案例》图书目录
- Singleton<;T>;
- ZooKeeper系列4:ZooKeeper API简介及编程
- Why Deep Learning Works – Key Insights and Saddle Points
- 【转】Tomcat调优指南
- 状压DP uvalive 6560
- leetcode面试准备:Contains Duplicate I &;&; II
- 【移动开发】WIFI热点通信(二)
- 可执行文件(ELF)格式的理解
- 判断DAG图
- 不用库(框架),自己写ajax
- 分页控件AspNetPager学习笔记
- .NET平台和开发.
- day27-反射
- LeetCode 题解之Most Common Word
热门文章
- Linux系统——sed命令
- Dom与Bom,增删改查
- UVALive - 4671 K-neighbor substrings (FFT+哈希)
- 【U3D】脚本引用的类,如何显示在编辑器界面
- 20145316《Java程序设计》第七周学习总结
- 20145316《Java程序设计》第六周学习总结
- LookupEdit已选过后如何删除值使其空白
- 算法+OpenCV】基于opencv的直线和曲线拟合与绘制(最小二乘法)
- 【c++ primer, 5e】定义类相关的非成员函数
- Java -D命令对应的代码中获取-D后面的参数 和 多个参数时-D命令的使用