scrapy爬取动态分页内容

1、任务定义：

爬取某动态分页页面中所有子话题的内容。

所谓“动态分页”：是指通过javascript（简称“js”）点击实现翻页，很多时候翻页后的页面地址url并没有变化，而页面内容随翻页动作动态变化。

2、任务难点及处理方法：

难点：

1） scrapy如何动态加载所有“下一页”：要知道scrapy本身是不支持js操作的。

2）如何确保页面内容加载完成后再进行爬取：由于内容是通过js加载的，如果不加控制，很可能出现爬到空页面的情况。

处理方法：

1）scrapy+selenium模拟浏览器点击：通过模拟浏览器点击的方式进行翻页，从而获取每一页内部的有效链接。

2）使用WebDriverWait()等待数据加载：即确保对应内容加载完成后，再进行相应爬取任务。

3、基本思路：

1）通过模拟浏览器翻页（涉及模拟点击翻页问题），获取每个分页中待爬取页面的url（涉及数据加载问题），将url列表存入文件；

2）针对每一个url进行普通的爬取。

4、待爬取页面分析：

举例：爬取某网站中所有子话题的内容。

1）子话题都在ul[@class="post-list"]标签下，xpath可以写成li[@class]，表示所有具备class属性的li标签。

2）要想爬取所有页面，需要浏览器模拟点击右上角的“下一页”标签（<li>）。具体分析页面代码后发现，最后一页的“下一页”标签不可点击，可以作为停止获取url列表的标志。

最后一页的“下一页”标签：<liclass="pg_next pg_empty"data-reactid="XX"></li>

其余的“下一页”标签：<liclass="pg_next"data-reactid="XX"></li>

next_page = response.xpath('//ul[@class="pg1"]/li[@class="pg_next"]')

5、Spider代码：

# -*- coding: utf-8 -*-

import scrapy

import time

import base64

from selenium import webdriver

from selenium.webdriver.support.ui importWebDriverWait

from buluo.items import BuluoItem

class buluoSpider(scrapy.Spider):

   name = 'buluo_spider'

   def __init__(self, bid = None): #示例：bid = 12339

       """初始化起始页面和游戏bid

       """

       super(buluoSpider, self).__init__()

       self.bid = bid #参数bid由此传入

       self.start_urls = ['http://buluo.qq.com/p/barindex.html?bid=%s' % bid]

       self.allowed_domain = 'buluo.qq.com'

       self.driver = webdriver.Firefox()

       self.driver.set_page_load_timeout(5) #throw a TimeoutException when thepage load time is more than 5 seconds.

   def parse(self, response):

       """模拟浏览器实现翻页，并解析每一个话题列表页的url_list

       """

       url_set = set() #话题url的集合

       self.driver.get(response.url)

       while True:

           wait = WebDriverWait(self.driver, 2)

           wait.until(lambda driver:driver.find_element_by_xpath('//ul[@class="post-list"]/li[@class]/a'))#VIP，内容加载完成后爬取

           sel_list = self.driver.find_elements_by_xpath('//ul[@class="post-list"]/li[@class]/a')

           url_list = [sel.get_attribute("href") for sel in sel_list]

           url_set |= set(url_list)

           try:

                wait =WebDriverWait(self.driver, 2)

                wait.until(lambda driver:driver.find_element_by_xpath('//ul[@class="pg1"]/li[@class="pg_next"]'))#VIP，内容加载完成后爬取

                next_page =self.driver.find_element_by_xpath('//ul[@class="pg1"]/li[@class="pg_next"]')

                next_page.click() #模拟点击下一页

           except:

                print "#####Arrive thelast page.#####"

                break

       with open('url_set.txt', mode='w') as f:

           f.write(repr(url_set))

       for url in url_set:

           yield scrapy.Request(url, callback=self.parse_content)

   def parse_content(self, response):

       """提取话题页面内容，通过pipeline存入指定字段

       """

       item = BuluoItem()

       item['timestamp'] = time.strftime('%Y-%m-%d %H:%M:%S')

       item['bid'] = self.bid

       item['url'] = response.url

       #item['content'] = response.body.decode('utf-8')

       item['content'] = base64.b64encode(response.body) #编码为Base64的网页内容

       yield item

6、爬虫运行：

其余还需配置好settings.py、items.py和pipeline.py等文件，cmd中运行如下命令，即可根据游戏编号爬取想要的子话题内容：

scrapy crawl buluo_spider -a bid=12339

巴特西

scrapy爬取动态分页内容

最新文章

热门文章