scrapy中发送post请求

1、可以使用`yield scrapy.FormRequest(url,formdata,callback)`方法发送POST请求。

　其中构造参数formdata可以是字典，也可以是可迭代的（key,value）元组，代表着需要提交的表单数据。

2、如果希望程序执行一开始就发送POST请求，可以重写Spider类的`start_requests(self)`方法，并且不再调用start_urls里的url。

import scrapy

class PostSpider(scrapy.Spider):

    name = 'post'

    allowed_domains = ['http://fanyi.youdao.com/']

    start_urls = ['http://http://fanyi.youdao.com//']

    #如果想要爬虫在一开始的时候就发送post请求,那么就需要在爬虫类中重写start_requests(self)方法,

    #并且不再调用start_urls里面的url,如果不重写start_requests(self)那么爬虫会自动获取start_urls里面的url

    def start_requests(self):

        url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"

        formdata = {

            "i": "狗",

            "from": "AUTO",

            "to": "AUTO",

            "smartresult": "dict",

            "client": "fanyideskweb",

            "salt": "16126984518491",

            "sign": "32f75e6c239f04d7c8c61d9e8abeb677",

            "ts": "1612698451849",

            "bv": "6a1ac4a5cc37a3de2c535a36eda9e149",

            "doctype": "json",

            "version": "2.1",

            "keyfrom": "fanyi.web",

            "action": "FY_BY_REALTlME"

        }

        yield scrapy.FormRequest(url=url,formdata=formdata,callback=self.parse)

    def parse(self, response):

        print('*'*20)

        print(response.text)

        print('*'*20)

巴特西

scrapy中发送post请求

最新文章

热门文章