1.创建爬虫项目

scrapy startproject [项目名称]

2.创建爬虫文件

scrapy genspider +文件名+网址

3.运行(crawl)

scrapy crawl 爬虫名称

# -o  output 输出数据到文件

scrapy crawl [爬虫名称] -o zufang.json

scrapy crawl [爬虫名称] -o zufang.csv

4.check检查错误

scrapy check

5.list返回项目所有spider

scrapy list

6.view 存储、打开网页

scrapy view http://www.baidu.com

7.scrapy shell, 进入终端

scrapy shell https://www.baidu.com

8.scrapy runspider

scrapy runspider zufang_spider.py

最新文章

1. (原创)ssm sql 例子(freemarker+jsp)
2. WPF menu
3. go 数据类型转换
4. PHP内核探索之变量（6）- 后续内核探索系列大纲备忘
5. php 二分查找
6. SQL Server 用SQL语句查找某个表的触发器
7. 安卓开发23：Service详细解读
8. VirboxLM许可管理平台，一站式软件保护解决方案
9. [JavaScript] canvas 合成图片和文字
10. Windows 10 IoT Core 17115 for Insider 版本更新
11. MFC 键盘响应
12. Altium Designer重装后图标都变白板或都变一样的解决方法
13. css3 animation 在某些浏览器中特别快 bugfix
14. Java程序员必会英语单词
15. flask模板应用-javaScript和CSS中jinja2
16. Netty 学习资料
17. 【LOJ#10131】暗的锁链
18. 分布式缓存系统 Memcached 整体架构
19. 整理之DOM事件阶段、冒泡与捕获、事件委托、ie事件和dom模型事件、鼠标事件
20. 简单四步開始树莓派上的Docker之旅

热门文章

1. QTP使用dictionary 对象
2. GCC -l选项：手动添加链接库
3. tarjan强连通缩点
4. pycharm查找替换快捷键
5. PyTorch 计算机视觉的迁移学习教程代码详解 （TRANSFER LEARNING FOR COMPUTER VISION TUTORIAL ）
6. js保留两位小数，自动补充零
7. springboot不能用 @SpringApplicationConfiguraction 解决方案
8. 【硬盘】RAID
9. Shell脚本并发及并发数的控制
10. 编译php-5.5.15出错，xml2-config not found