二 web爬虫，scrapy模块以及相关依赖模块安装
当前环境python3.5 ，windows10系统
Linux系统安装
在线安装，会自动安装scrapy模块以及相关依赖模块
pip install Scrapy
手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块
安装以下模块
1、lxml-3.8.0.tar.gz （XML处理库）
2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）
3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）
4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）
5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）
6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）
7、cryptography-2.0.tar.gz （密码学是一种包）
8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）
9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）
10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）
11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）
12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）
13、pycparser-2.18.tar.gz （C解析器在Python中）
windows系统安装
windows安装，首先要安装pywin32，根据自己的系统来安装32位还是64位
pywin32-221.win32-py3.5.exe
pywin32-221.win-amd64-py3.5.exe
在线安装
pip install Scrapy
手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块
安装以下模块
1、lxml-3.8.0.tar.gz （XML处理库）
2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）
3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）
4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）
5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）
6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）
7、cryptography-2.0.tar.gz （密码学是一种包）
8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）
9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）
10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）
11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）
12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）
13、pycparser-2.18.tar.gz （C解析器在Python中）
测试是否安装成功
在cmd终端，运行python
然后运行：import scrapy ，没有提示错误说明安装成功
最新文章
- .net framework体系结构
- mysql按日期检索数据
- 设置table距离顶部位置
- ctrl+c,ctrl+d,ctrl+z在linux中意义
- 【poj1080】 Human Gene Functions
- cheerio, dom操作模块
- SVN-钩子祥解
- iOS 复选框风格转换 Switchery 开关效果
- 初识MyBatis
- spoj 8222 Substrings (后缀自动机)
- [ios2]使用NSOperationQueue简化多线程开发和队列的优先级 【转】
- java中的序列化流和反序列化流
- PPK提供的浏览器类型及版本检测方法
- 微信小程序语音与讯飞语音识别接口（Java）
- OPP的三大特征之封装总结
- SpringBoot之常用注解
- TCP中往返时间的估计与超时
- mysql之用户权限管理
- AHOI（十二省联考）2019 退役记
- background-position，有逗号和没逗号：截然不同的结果