Scrapy请求传参
2024-08-31 14:58:07
scrapy.Request(url=url, callback=self.parse_item, meta={'item': item}, headers=headers)
url: 要请求的地址
callback:响应成功之后的回调函数
meta: 参数传递
headers: 定制头信息,一般不用
# -*- coding: utf-8 -*- ''' 要抓取的数据部分在一级页面、一部分在二级页面 ''' import scrapy from movie.items import MovieItem class MvSpider(scrapy.Spider): # 爬虫文件的名字 name = 'mv' # 允许的域名 allowed_domains = ['www.ygdy8.net'] # 起始的url start_urls = ['http://www.ygdy8.net/html/gndy/dyzz/index.html'] def parse(self, response): a_list = response.xpath('//div[@class="co_content8"]//table//a') for a in a_list: title = a.xpath('./text()').extract_first() href = 'http://www.ygdy8.net' + a.xpath('./@href').extract_first() movie = MovieItem(title=title) # callback是执行的方法 meta是响应时候携带的参数 yield scrapy.Request(url=href,callback=self.parse_detail,meta={'movie':movie}) def parse_detail(self,response): movie = response.meta['movie'] src = response.xpath('//div[@id="Zoom"]//p[1]/img[1]/@src').extract_first() movie['src']=src yield movie
最新文章
- 用c#开发微信 (20) 微信登录网站 - 扫描二维码登录
- MFC文件操作
- Linux 中强大且常用命令:find、grep
- 【C语言学习】-06 函数
- javascript --- 子对象访问父对象的方式
- HDU 1089 A+B for Input-Output Practice (I)
- dfs-hdu-4620-Fruit Ninja Extreme
- Win7和VS2013上使用Intel的TBB
- Python使用os.listdir()函数来获得目录中的内容
- ASP.NET没有魔法——ASP.NET MVC 直连路由(特性路由)
- PreparedStatement和Statement区别
- 最长上升子序列(LIS)
- 图片文字识别aip的一个小Demo
- 剑指Offer 19. 顺时针打印矩阵 (其他)
- python基础学习第二天
- linux一些命令的介绍
- android shareUID
- 7款易上手C语言编程软件推荐
- ASP.netMVC文件下载的几种方法
- 升级系统后maxvim不能用,重新下载编译个