如何实现在scrapy调试爬虫
2024-08-31 02:17:30
# -*- coding:utf-8 -*- from scrapy.cmdline import execute
import sys
import os
'''
在爬虫文件夹下面自定义一个main.py的文件
__file__指的是当前main.py文件
os.path.abspath(__file__)获取当前main.py文件所在路径
os.path.dirname(os.path.abspath(__file__))获取的是当前文件夹的父目录的路径,也就是爬虫文件的目录
execute里面的参数是要调试的爬虫
执行main.py就可以在PyCharm中调试程序了
'''
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'mySpiderName'])
最新文章
- HTML5填充颜色的fillStyle测试
- GJM :Unity3D 5.x性能分析工具与应用方法
- Tesseract API在VS 2013中的配置以及调用
- 「c++小学期」实验题目及代码
- JavaScript的面临的9个陷阱
- 在PYTHON3中,使用Asyncio来管理Event loop
- win7:Remote Desktop Services 启动失败
- Python 字典的创建赋值和动态扩展
- PowerDesigner-自定义生成WORD
- CCMoveTo 等函数理解
- 关于css3 中filter的各种特效
- Java的23种设计模式
- CSDN_投票评选_JS_分析脚本
- Golang 微框架 Gin 简介
- git编译安装
- sql 用户相关命令
- 深度解析SpringMvc实现原理手写SpringMvc框架
- pgm13
- java框架篇---hibernate之连接池
- AWT和Swing之间的基本区别
热门文章
- bzoj2216
- mysql sql执行错误#1436 Thread stack overrun
- Filter,Interceptor和Aspect
- 0619-dedeCMS数据表
- JavaScript--提问(prompt 消息对话框)
- ASP.NET MVC5 之 Log4Net 的学习和使用
- [转]linux之awk命令
- P2639 [USACO09OCT]Bessie的体重问题Bessie's We…
- elasticsearch——海量文档高性能索引系统
- Python 之12306网站验证码校验案例