scrapy 多个爬虫运行
2024-10-07 21:08:24
from scrapy import cmdline
import datetime
import time
import os
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'doubanMovie.settings')
global process
process= CrawlerProcess(get_project_settings())
def dosth():
print("执行第一个爬虫")
#cmdline.execute("scrapy crawlall".split())
process.crawl("doubanMovieSpider1") #print(type(cmdline.execute("scrapy crawl doubanMovie".split()))) def doanother():
print("执行第二个爬虫")
process.crawl("doubanMovieSpider2") def main(): while True:
now=datetime.datetime.now() if now.second==30:
dosth()
time.sleep(1)
doanother()
process.start() main()
最新文章
- mac显示隐藏文件
- SharePoint 2013 状态机工作流之日常报销示例
- 一般处理程序获取WEB窗体创建的验证码需要实现session相关接口
- ORA-00600: internal error code, arguments: [kcblasm_1], [103], [], [], [], [], [], []
- color the python console text
- 从gitbook将书籍导入到github中
- hdu1430魔板(BFS+康托展开)
- Android系统源代码下载
- 【转】Memcached管理与监控工具----MemAdmin
- nginx配置方法
- td中的值自动换行
- 老男孩Python全栈开发(92天全)视频教程 自学笔记04
- Jarvis OJ - [XMAN]level0 - Writeup
- python3编码
- [Hive_6] Hive 的内置函数应用
- 解决ubuntu的gedit编辑器中文乱码的问题
- Rsync常见错误和问题
- Linux基础命令---杀死进程killall
- 用JS制作《飞机大作战》游戏_第2讲(四大界面之间的跳转与玩家飞机的移动)-陈远波
- [hihoCoder] 第五十周: 欧拉路·二
热门文章
- HDU 6667 Roundgod and Milk Tea (思维)
- 通过MyEclipse操作数据库,执行sql语句使我们不用切换多个工具,直接工作,方便快捷
- Android高级架构进阶之数据传输与序列化
- 判断字符串是否为JSON
- JS window对象取消计时器clearInterval() clearInterval() 方法可取消由 setInterval() 设置的交互时间。
- RHEL5/6/7中常用命令及命令之间的差异
- mysql和postgresql查询数据库中哪些表包含某个字段
- 本地仓库_remote.repositories(拒绝访问)
- 解析Spring第四天(Spring中的事物、Spring框架来管理模板类)
- FFT最新卡常研究