scrapy爬虫，cmd中执行日志中显示了爬取的内容，但是运行时隐藏日志后（运行命令后添加--nolog），就没有输出结果了

cmd下执行scrapy爬虫程序,不报错也没有输出,解决方案

想要执行parse能够在cmd看到parse函数的执行结果：

解决方法：

settings.py 中设置 ROBOTSTXT_OBEY = False

案例：

day96\day96\spiders\chouti.py

# -*- coding: utf-8 -*-

import scrapy

import sys

import io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

class ChoutiSpider(scrapy.Spider):

    name = 'chouti'

    allowed_domains = ['chouti.com']

    start_urls = ['http://dig.chouti.com/']

    def parse(self, response):

        # print(response.url)

        # print(response.text)

        content=str(response.body,encoding='utf-8')

        print(content)

day96\day96\settings.py

1	`ROBOTSTXT_OBEY` `=` `False`

参考链接：https://bbs.csdn.net/topics/392316454?page=1

巴特西

scrapy爬虫，cmd中执行日志中显示了爬取的内容，但是运行时隐藏日志后（运行命令后添加--nolog），就没有输出结果了

cmd下执行scrapy爬虫程序,不报错也没有输出,解决方案

最新文章

热门文章