scrapy框架简介与安装启动

　　Scrapy 是一个专业的、高效的爬虫框架，它使用专业的 Twisted 包（基于事件驱动的网络引擎包）高效地处理网络通信，使用 lxml（专业的 XML 处理包）、cssselect 高效地提取 HTML 页面的有效信息，同时它也提供了有效的线程管理。

安装scrapy

pip3 install scrapy

在windows如果报错的话按以下方式安装（缺少环境，或者直接下载VS）：

    pip3  install wheel

    下载twisted   https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

    进入下载目录，执行　　pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

    pip3   install  pywin32

    pip3   install  scrapy

项目创建与启动

#scrapy项目创建
scrapy startproject  xxx(项目名)-----创建爬虫项目
    cd xxx(项目名)--------必须要进入项目文件
    scrapy genspider  xx(爬虫文件)   url(起始url，后期可修改)--------创建爬虫应用
#scrapy项目启动
scrapy crawl xx(爬虫文件)----需要进入爬虫文件所在的目录

scrapy crawl 爬虫文件 --nolog：该种执行形式不会显示执行的日志信息

　项目中创建的默认爬虫文件

 import scrapy

 class FirstbaiduSpider(scrapy.Spider):

     name = 'firstBaidu'#爬虫文件（应用）名

     # allowed_domains = ['https://www.baidu.com/']#域名限定，一般直接注释

     start_urls = ['https://www.baidu.com//']#起始url，创建应用时指定的，可修改

     def parse(self, response):#自动访问起始URL并获取结果后的回调函数，参数respons为起始请求的响应对象，可以直接调用封装好的xpath解析

         pass

默认创建的爬虫文件

巴特西

scrapy框架简介与安装启动

最新文章

热门文章