crawlscrapy简单使用方法
2024-10-19 17:59:17
crawlscrapy简单使用方法
1.创建项目：
scrapy startproject 项目名
例如：
scrapy startproject wxapp
windows下，cmd进入项目路径例如
d:\pythonCode\spiderProject>scrapy startproject wxapp
将创建项目名为 wxapp
2.使用命令创建一个爬虫：
scrapy genspider 爬虫名称 需要爬取的网址
scrapy genspider -t crawl wxapp_spider "wxapp-union.com"
注意：爬虫名称不能和项目名相同
进入项目目录
d:\pythonCode\spiderProject>cd wxapp
创建爬虫
d:\pythonCode\spiderProject\wxapp>scrapy genspider -t crawl wxapp_spider "wxapp-union.com"
命令执行后将在d:\pythonCode\spiderProject\wxapp\wxapp\spiders\下，生成wxapp_spider.py
3.修改wxapp_spider.py文件
最新文章
- bootstrap之强调文本的类（带颜色）
- 再谈this
- Elasticsearch及java客户端jest使用
- centos 单独安装PHP的mysql和mysqli扩展
- 黄聪：PHP json_encode中文乱码解决方法
- MFC获取文本框字符串
- SQL2005/8数据库提示单个用户无法操作的解决方法
- 【转】Cocos2d-x 2.0 拖尾效果深入分析
- oracle系列索引
- Jacob - Outlook
- linux下编译原理分析
- python多线程--theading模块
- MyBatis浅尝笔记
- 报错 'dict' object has no attribute 'has_key'
- bzoj 4556 字符串
- 20165237 2017-2018-2《Java程序设计》课程总结
- 最近公共祖先(LCA)的三种求解方法
- python中元组与数组的区别
- RESTframework简介
- java 模拟发送post请求测试