11scrapy
一． Scrapy基础概念
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。Scrapy 使用了 Twisted异步网络框架，可以加快我们的下载速度。
二． 操作
1. 基本操作
1）创建一个scrapy项目
scrapy startproject mySpider
2）生成一个爬虫
scrapy genspider itcast "itcast.cn”
3）提取数据
完善spider，使用xpath等方法
4）保存数据
pipeline中保存数据
2. 完善spdier
3. spdier数据传到pipeline
4. 使用·pipeline
5. 设置log
为了让我们自己希望输出到终端的内容能容易看一些：
我们可以在setting中设置log级别
在setting中添加一行（全部大写）：LOG_LEVEL = "WARNING”
默认终端显示的是debug级别的log信息
三． 实行翻页操作
1. 获取地址，使用scrapy.Request方法
需要传递数据时，可以在方法中传递meta：
yield scrapy.Request(next_page_url,callback=self.parse,meta=…)
dont_filter:让scrapy不会过滤当前url
四． 定义Item
1. 方法
2. 实例
3. 在不同的解析函数中传递参数
五． 深入pipeline
可以将一些需要初始化的数值添加在open_spider方法中
而close_spider可以做一些收尾工作
六． CrawlSpider
1. 功能
1）我们把满足某个条件的url地址传给rules，同时能够指定callback函数。不需要手动去找下一页的url地址，达到简化代码的目的
2）生成CrawlSpider的命令
scrapy genspider –t crawl 项目名 “域名”
2. 实例
rules内的几个参数：
1） LinkExtractor 连接提取器，提取url地址
2） callback 提取出来的url地址的response会交给callback来处理
3） follow 当前url地址的响应是否重新进rules来提取url地址
3. 注意点
七． Scrapy模拟登录
1. 携带cookie登录
1）直接携带cookie，在浏览器登录之后获取检查里边cookies的值
2）找到发送post请求的url地址，带上信息，发送请求
可以在settings里边添加参数【COOKIES_DEBUG=True】观察cookies的传递过程。
不能把cookies放在headers中
2. 使用FormRequest
1） scrapy.FormRequest(url,formdata={},callback) formdata请求体
2） formdata里边的数据，可以试着在浏览器输入用户名和密码之后，在session的Headers里边找到formdata,接着在Elements中查找对应的组件
3）示例
3. 自动寻找Form表单中action的url
1） scrapy.FormRequest.from_response(response,formdata={},callback)
2） 示例
八． 案例分析
1. 贴吧爬虫
1.1 补充不完整的链接
注意：需要导入import urllib
通过urljoin方法自动把链接补全
1.2 对图片解码以及翻页时处理内容覆盖的问题
1） 图片解码：需要import requests
item["img_list"] = [requests.utils.unquote(i).split("src=")[-1] for i in item["img_list"]]
2） 翻页使用extend()来处理
item["img_list"].extend(response.xpath("//img[@class='BDE_Image']/@src").extract())
1.3 spider下的tb.py完整代码
import scrapy
import urllib
import requests
class TbSpider(scrapy.Spider):
name = 'tb'
allowed_domains = ['tieba.baidu.com']
start_urls = ['http://tieba.baidu.com/mo/q----,sz@320_240-1-3---2/m?kw=%E6%9D%8E%E6%AF%85&lp=9001']
def parse(self, response):
#根据帖子进行分组
div_list = response.xpath("//div[contains(@class,'i')]")
for div in div_list:
item = {}
item["href"] = div.xpath("./a/@href").extract_first()
item["title"] = div.xpath("./a/text()").extract_first()
item["img_list"] = []
if item["href"] is not None:
item["href"] = urllib.parse.urljoin(response.url,item["href"])
yield scrapy.Request(
item["href"],
callback=self.parse_detail,
meta = {"item":item}
)
#列表页的翻页
next_url = response.xpath("//a[text()='下一页']/@href").extract_first()
if next_url is not None:
next_url = urllib.parse.urljoin(response.url,next_url)
yield scrapy.Request(
next_url,
callback=self.parse,
)
def parse_detail(self,response):
item = response.meta["item"]
# if "img_list" not in item:
#item["img_list"] = response.xpath("//img[@class='BDE_Image']/@src").extract()
# else:
item["img_list"].extend(response.xpath("//img[@class='BDE_Image']/@src").extract())
next_url = response.xpath("//a[text()='下一页']/@href").extract_first()
if next_url is not None: #表示由下一页
next_url = urllib.parse.urljoin(response.url,next_url)
yield scrapy.Request(
next_url,
callback=self.parse_detail,
meta={"item":item}
)
else:
item["img_list"] = [requests.utils.unquote(i).split("src=")[-1] for i in item["img_list"]]
print(item)
# yield item
最新文章
- fir.im Weekly - 让 iOS 应用更加安全
- [转]CAP原理与最终一致性 强一致性 透析
- Python错误处理
- 【转】浅谈Java中的hashcode方法（这个demo可以多看看）
- usaco 猜数游戏
- HTML+CSS笔记 CSS进阶再续
- 【智能家居篇】wifi网络访问原理（下一个）——联想Association
- Java高效编程(2) -- Creating and Destroying Objects
- spring 集成mongo配置
- FMDB的一些基本操作小结
- cmd输入svn提示svn不是内部或外部命令
- python利用scrapy框架爬取起点
- 面向对象编程(OOP)的五大特征-java学习之旅(1)
- Spring Security简明实践及相关国际化处理
- PKUWC2019 凉凉记
- ubuntu安装steam
- protocol error, got 'n' as reply type byte + redis如何后台启动
- nodejs 热更新插件
- Spring MVC的Controller统一异常处理：HandlerExceptionResolver
- windows下安装并启动hadoop2.7.2