#栈
def push(self,item)

def pop(self)

#队列

def enqueue(self,item)

def dequeue(self)

#列表

def add(self,item)

- 创建工程：scrapy startproject ProName

- 创建爬虫文件

    - cd ProName

    - scrapy genspider spiderName www.xxx.com

- 爬虫类的相关属性和方法

    - 爬虫文件的名称:name    #这里不能重复

    - 起始的url列表：start_urls，存储的url会被scrapy进行自动的请求发送

    - parse(reponse)：用来解析start_urls列表中url对应的响应数据,会被调用多次

        - response.xpath() ==> [selector,selector]

            - extract()

- 数据持久化存储

    - 基于终端指令：

        - 只可以将parse方法的返回值进行持久化存储

        - scrapy crawl SpiderName -o ./file

    - 基于管道持久化存储的编码流程：重点

        - 数据解析

        - 在item类中声明相关的属性用于存储解析到的数据

        - 将解析到的数据存储封装到item类型的对象中

        - 将item对象提交给管道类

        - item会被管道类中的process_item方法中的item参数进行接收

        - process_item方法中编写基于item持久化存储的操作

        - 在配置文件中开启管道

    - 管道细节处理：

        - 管道文件中一个类对应的是什么？

            - 一个类表示的是将解析到的数据存储到某一个具体的平台数据库或txt中

        - process_item方法中的返回值表示什么含义？

            - return item就是说将item传递给下一个即将被执行的管道类

        - open_spider，close_spider

# -*- coding: utf- -*-

import scrapy

from sunLinePro.items import SunlineproItem

class SunSpider(scrapy.Spider):

    name = 'sun'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=']

    def parse(self, response):

        tr_list=response.xpath('//*[@id="morelist"]/div/table[2]/tbody/tr/td/table/tbody/tr')

        for tr in  tr_list:#解析下面两个数据

            title=tr.xpath('./td[2]/a[2]/text()').extract_first()

            status=tr.xpath('./td[3]/span/text()').extract_first()

            item=SunlineproItem()

            item['title']=title

            item['status']=status

            yield item      #提交的操作在循环的里边

# -*- coding: utf- -*-

import scrapy

from sunLinePro.items import SunlineproItem

class SunSpider(scrapy.Spider):

    name = 'sun'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=']

    #通用的url模板(不可以修改)

    url='http://wz.sun0769.com/index.php/question/questionType?type=4&page=%d'

    page=

    def parse(self, response):

        print(',,,,,,,,,,,,,,page=',self.page) #查看页面

        tr_list=response.xpath('//*[@id="morelist"]/div/table[2]//tr/td/table//tr')

        for tr in  tr_list:#解析下面两个数据

            title=tr.xpath('./td[2]/a[2]/text()').extract_first()

            status=tr.xpath('./td[3]/span/text()').extract_first()

            item=SunlineproItem()

            item['title']=title

            item['status']=status

            yield item      #提交的操作在循环的里边

        if self.page<:

            #手动对指定的url进行请求发送

            count=self.page*

            new_url=format(self.url%count)

            self.page+=

            yield scrapy.Request(url=new_url,callback=self.parse) #url和结束递归条件

全站数据的爬取

    - 手动请求发送：

        - yield scrapy.Request(url,callback):callback回调一个函数用于数据解析

如何进行post请求的发送和如何进行cookie的处理

    - post请求的发送:

        - 重写父类的start_requests(self)方法

        - 在该方法内部只需要调用yield scrapy.FormRequest(url,callback,formdata)

    - cookie处理：scrapy默认情况下会自动进行cookie处理

# -*- coding: utf-8 -*-
import scrapy
class PostdemoSpider(scrapy.Spider):
    name = 'postDemo'
    # allowed_domains = ['www.xxx.com']
    #https://fanyi.baidu.com/sug
    start_urls = ['https://fanyi.baidu.com/sug']
    #父类方法:就是将start_urls中del列表元素进行get请求的发送
    def start_requests(self): #get请求
        for url in self.start_urls:
            data={
                'kw':'dog',
            }
            #post请求的手动发送使用的是FormRequest
            yield scrapy.FormRequest(url=url,callback=self.parse,formdata=data)
    def parse(self, response):
        print(response.text)