scrapy在ubuntu上安装总结
此文档是本人学习时使用的，采用一个实例作为引导进行安装测试。
实例下载地址如下：
https://github.com/sans-serif/scrapy-german-news#introduction
解压之后为：scrapy-german-news-master
修改requirements.txt 删除psycopg2==2.6.1
其中requirements.txt内容如下：
********************************************************************
attrs==15.2.0
cffi==1.5.2
cryptography==1.2.3
cssselect==0.9.1
enum34==1.1.2
idna==2.0
ipaddress==1.0.16
lxml==3.5.0
psycopg2==2.6.1
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
pyOpenSSL==0.15.1
queuelib==1.4.2
Scrapy==1.0.5
service-identity==16.0.0
six==1.10.0
Twisted==15.5.0
w3lib==1.13.0
zope.interface==4.1.3
********************************************************************
按理只需此文件即可，scrapy-german-news-master只是测试工程。
具体安装步骤如下：
第一步：
安装pip: sudo apt-get install python-pip
第二步：安装依赖
sudo apt-get install libffi-dev
sudo apt-get install python-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt-dev
第三步：
准备好requirements.txt文件。
sudo pip install -r requirements.txt
第四步：安装postgresql
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
sudo pip install psycopg2==2.6.1
安装完成
测试运行，看是否安装成功：
进入目录scrapy-german-news-master 运行 scrapy crawl faz
如果能看到开始抓取数据，则认为配置成功
如安装过程中出现如下错误，解决方案：
（1）ImportError: No module named pkg_resources 解决方法：
sudo apt-get install --reinstall python-pkg-resources
（2）pkg_resources.DistributionNotFound: setuptools>=11.3 解决方法：
sudo pip install -U distribute
（3）pip install psycopg2 错误，解决如下：
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
（4）c/_cffi_backend.c:2:20: 致命错误： Python.h：没有那个文件或目录， 解决如下：
sudo apt-get install python-dev
（5）src/lxml/includes/etree_defs.h:14:31: 致命错误： libxml/xmlversion.h：没有那个文件或目录，解决如下：
apt-get install libxml2-dev libxslt-dev
（6）关于这个libffi，错误，解决如下：
sudo apt-get install libffi-dev
(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解决如下：
sudo apt-get install libssl-dev
备注：以上测试工程采用的是postgresql数据库，也可以采用mysql
最新文章
- Android中Input型输入设备驱动原理分析(一)
- Android学习笔记
- javascript——Array
- 利用uploadify+asp.net 实现大文件批量上传。
- 攻城狮在路上（伍）How tomcat works（四）Tomcat的默认连接器
- 使用webbench对不同的web服务器进行压力测试
- 34. 求e的近似值
- Java 日志管理最佳实践
- maven NoClassDefFoundError: org/mortbay/util/Attributes
- javascript工具--控制台详解（转自 阮一峰博客）
- Microsoft JScript 运行时错误: Sys.WebForms.PageRequestManagerParserErrorException无法分析从服务器收到的消息。之所以出现此错误，
- opencv安装及学习资料
- linux exec和文件描述符妙用技巧(转)
- hdu4352（数位dp）
- 利用修改div的位置+js对象存储div信息 实现简单的div自定义布局功能
- 安徽省2016“京胜杯”程序设计大赛_D_梯田AGAIN
- 五个数据段之代码段、数据段、BSS、栈、堆
- 《Metasploit魔鬼训练营》虚拟环境搭建中网络配置的一些问题
- MFC应用技术之CTreeControl的使用
- ASP.NET MVC和ASP.NET Core MVC中获取当前URL/Controller/Action （转载）