一, Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板. 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全栈爬取 分布式 中间件 请求传参 ...等等 环境的安装: mac/linux:pip install scrapy window: - pip install wheel - 下载twisted http: