3-----Scrapy框架的命令行详解
创建爬虫项目
scrapy startproject 项目名
例子如下:
E:\crawler>scrapy startproject test1
New Scrapy project 'test1', using template directory 'd:\\python36\\lib\\site-packages\\scrapy\\templates\\project', created in:
E:\crawler\test1 You can start your first spider with:
cd test1
scrapy genspider example example.com E:\crawler>
这个时候爬虫的目录结构就已经创建完成了,目录结构如下:
接着我们按照提示可以生成一个spider,这里以百度作为例子,生成spider的命令格式为;
scrapy genspider 爬虫名字 爬虫的网址
E:\crawler\test1>scrapy genspider baiduSpider baidu.com
Created spider 'baiduSpider' using template 'basic' in module:
test1.spiders.baiduSpider E:\crawler\test1>
关于命令详细使用
命令的使用范围
这里的命令分为全局的命令和项目的命令,全局的命令表示可以在任何地方使用,而项目的命令只能在项目目录下使用
全局的命令有:
startproject
genspider
settings
runspider
shell
fetch
view
version
项目命令有:
crawl
check
list
edit
parse
bench
startproject
这个命令没什么过多的用法,就是在创建爬虫项目的时候用
genspider
用于生成爬虫,这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板
E:\crawler\test1>scrapy genspider -l
Available templates:
basic
crawl
csvfeed
xmlfeed E:\crawler\test1>
当我们创建的时候可以指定模板,不指定默认用的basic,如果想要指定模板则通过
scrapy genspider -t 模板名字
E:\crawler\test1>scrapy genspider -t crawl zhihuspider zhihu.com
Created spider 'zhihuspider' using template 'crawl' in module:
test1.spiders.zhihuspider E:\crawler\test1>
crawl
这个是用去启动spider爬虫格式为:
scrapy crawl 爬虫名字
这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的
check
用于检查代码是否有错误,scrapy check
list
scrapy list列出所有可用的爬虫
fetch
scrapy fetch url地址
该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来
这里有一些参数:
--nolog 不打印日志
--headers 打印响应头信息
--no-redirect 不做跳转
view
scrapy view url地址
该命令会讲网页document内容下载下来,并且在浏览器显示出来
因为现在很多网站的数据都是通过ajax请求来加载的,这个时候直接通过requests请求是无法获取我们想要的数据,所以这个view命令可以帮助我们很好的判断
shell
这是一个命令行交互模式
通过scrapy shell url地址进入交互模式
这里我么可以通过css选择器以及xpath选择器获取我们想要的内容(xpath以及css选择的用法会在下个文章中详细说明),例如我们通过scrapy shell http://www.baidu.com
这里最后给我们返回一个response,这里的response就和我们通requests请求网页获取的数据是相同的。
view(response)会直接在浏览器显示结果
response.text 获取网页的文本
下图是css选择器的一个简单用法
settings
获取当前的配置信息
通过scrapy settings -h可以获取这个命令的所有帮助信息
E:\crawler\test1>scrapy settings -h
Usage
=====
scrapy settings [options] Get settings values Options
=======
--help, -h show this help message and exit
--get=SETTING print raw setting value
--getbool=SETTING print setting value, interpreted as a boolean
--getint=SETTING print setting value, interpreted as an integer
--getfloat=SETTING print setting value, interpreted as a float
--getlist=SETTING print setting value, interpreted as a list Global Options
--------------
--logfile=FILE log file. if omitted stderr will be used
--loglevel=LEVEL, -L LEVEL
log level (default: DEBUG)
--nolog disable logging completely
--profile=FILE write python cProfile stats to FILE
--pidfile=FILE write process ID to FILE
--set=NAME=VALUE, -s NAME=VALUE
set/override setting (may be repeated)
--pdb enable pdb on failure E:\crawler\test1>
拿一个例子进行简单的演示:(这里是我的这个项目的settings配置文件中配置了数据库的相关信息,可以通过这种方式获取,如果没有获取的则为None)
E:\crawler\test1>scrapy settings --get=MYSQL_HOST
None E:\crawler\test1>
runspider
这个和通过crawl启动爬虫不同,这里是scrapy runspider 爬虫文件名称
所有的爬虫文件都是在项目目录下的spiders文件夹中
version
查看版本信息,并查看依赖库的信息
E:\crawler\test1>scrapy version
Scrapy 1.5.1 E:\crawler\test1>scrapy version -v
Scrapy : 1.5.1
lxml : 4.2.5.0
libxml2 : 2.9.5
cssselect : 1.0.3
parsel : 1.5.0
w3lib : 1.19.0
Twisted : 18.7.0
Python : 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 18:11:49) [MSC v.1900 64 bit (AMD64)]
pyOpenSSL : 18.0.0 (OpenSSL 1.1.0h 27 Mar 2018)
cryptography : 2.3
Platform : Windows-7-6.1.7601-SP1 E:\crawler\test1>
最新文章
- SQLServer文件收缩-图形化+命令
- js异步编程技巧一
- mysql 5.7.15单机主从快速搭建并配置复制表到不同库
- 十二、shapes
- arcgis desktop按ctrl键后地图乱移的解决办法
- !!!四种常见的 POST 提交数据方式(含application/json)
- ORACLE数据库创建用户名和表空间
- \n ^ \t的使用
- UVALive 6910 Cutting Tree(离线逆序并查集)
- http://nxlhero.blog.51cto.com/962631/1666250?plg_nld=1&;plg_uin=1&;plg_auth=1&;plg_nld=1&;plg_usr=1&;plg_vkey=1&;plg_dev=1
- 完全用xml实现imageview点击换一张图片
- [转贴]watin的一些例子
- 【转】Java基本数据类型
- nginx启动过程分析
- C#中 Equals和= =的区别
- 微信小程序ios点击状态栏返回顶部不好使
- Mac下快速搭建PHP开发环境
- sqlalchemy数据库分层操作
- 域名DNS解析工具ping/nslookup/dig/host
- [No0000D7]img生成器.bat合并所有图片到html网页中
热门文章
- winform 公共控件 ListView
- Java3D读取3DMax模型并实现鼠标拖拽、旋转、滚轮缩放等功能
- Python沙盒环境配置
- 10、R常用命令
- str() 和repr()的区别
- Java泛型读书笔记 (一)
- asp 控件定时器 局部刷新
- Git配置代理命令
- C# Linq及Lamda表达式实战应用之 GroupBy 分组统计
- nginx: [emerg] directive ";location"; has no opening ";{"; in /usr/local/nginx//conf/nginx.conf:75