from scrapy import cmdline
import datetime
import time
import os
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'doubanMovie.settings')
global process
process= CrawlerProcess(get_project_settings())
def dosth():
print("执行第一个爬虫")
#cmdline.execute("scrapy crawlall".split())
process.crawl("doubanMovieSpider1") #print(type(cmdline.execute("scrapy crawl doubanMovie".split()))) def doanother():
print("执行第二个爬虫")
process.crawl("doubanMovieSpider2") def main(): while True:
now=datetime.datetime.now() if now.second==30:
dosth()
time.sleep(1)
doanother()
process.start() main()

  

最新文章

  1. mac显示隐藏文件
  2. SharePoint 2013 状态机工作流之日常报销示例
  3. 一般处理程序获取WEB窗体创建的验证码需要实现session相关接口
  4. ORA-00600: internal error code, arguments: [kcblasm_1], [103], [], [], [], [], [], []
  5. color the python console text
  6. 从gitbook将书籍导入到github中
  7. hdu1430魔板(BFS+康托展开)
  8. Android系统源代码下载
  9. 【转】Memcached管理与监控工具----MemAdmin
  10. nginx配置方法
  11. td中的值自动换行
  12. 老男孩Python全栈开发(92天全)视频教程 自学笔记04
  13. Jarvis OJ - [XMAN]level0 - Writeup
  14. python3编码
  15. [Hive_6] Hive 的内置函数应用
  16. 解决ubuntu的gedit编辑器中文乱码的问题
  17. Rsync常见错误和问题
  18. Linux基础命令---杀死进程killall
  19. 用JS制作《飞机大作战》游戏_第2讲(四大界面之间的跳转与玩家飞机的移动)-陈远波
  20. [hihoCoder] 第五十周: 欧拉路·二

热门文章

  1. HDU 6667 Roundgod and Milk Tea (思维)
  2. 通过MyEclipse操作数据库,执行sql语句使我们不用切换多个工具,直接工作,方便快捷
  3. Android高级架构进阶之数据传输与序列化
  4. 判断字符串是否为JSON
  5. JS window对象取消计时器clearInterval() clearInterval() 方法可取消由 setInterval() 设置的交互时间。
  6. RHEL5/6/7中常用命令及命令之间的差异
  7. mysql和postgresql查询数据库中哪些表包含某个字段
  8. 本地仓库_remote.repositories(拒绝访问)
  9. 解析Spring第四天(Spring中的事物、Spring框架来管理模板类)
  10. FFT最新卡常研究