python和scrapy的安装【转：https://my.oschina.net/xtfjt1988/blog/364577】

2024-09-08 16:12:33

抓取网站的代码实现很多，如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS：一定要按照Python的版本下载，要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。（我的是xp系统）

1.安装Python

安装完了记得配置环境，将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕（如下面截图）。python下载地址。

2.安装lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。点击这里选择对应的Python版本安装。验证是否安装成功，如下图。


    3.安装setuptools

用来安装egg文件，点击 https://pypi.python.org/pypi/setuptools#using-setuptools-and-easyinstall 下载python2.7的对应版本的setuptools。

　　设置环境变量：path中加入C:\Python27\Scripts

4.安装zope.interface

可以使用第三步下载的setuptools来安装egg文件，现在也有exe版本，点击这里下载。

5.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架，点击这里下载。

备用地址：http://vdisk.weibo.com/s/yTKgWrhNCxDDM#_loginLayer_1480039489026

6.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口，点击这里下载。

    7.安装win32py

    提供win32api，点击这里下载

8.安装Scrapy

终于轮到安装scrapy了，直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。

安装完成，开始使用吧！

最新文章

热门文章