python写网络爬虫的环境搭建
网上找了好多资料，都不全，通过资料的整理，包括自己的测试，终于把环境打好了，真是对于一个刚接触爬虫的人来说实属不易，现在分享给大家，若有不够详细之处，希望各位网友能补充。
第一步，下载python，
这里有一个巨坑，python2.x与python3.x变化实在是太大，博主开始用的python2.7，后来发现很多模块版本太新，根本没办法使用，兼容性出了问题，索性把python2.7给卸了，然后下了python3.4，如果你习惯了用python2.x，就不要轻易升级，如果你是刚学python，建议还是安装3.x版本。还有就是注意python是64位还是32位。
第二步，环境变量设置，由于会使用python命令，所以最好还是设一个
桌面计算机—>右键“属性”—>点击“高级系统设置”—>高级属性里点击“环境变量”—>在系统变量里path中添加python安装目录。
第三步，下载一个合适的idl（代码编辑器），python自带的idle实在是太水了，对于一个项目来说，根本满足不了需求，只能做简单的测试。现在成熟的idl很多，博主使用的是Pycharm，觉得挺好用的，其他的不了解，你们可以尝试装机试试。
第四步，下载Beautiful Soup，
Beautiful Soup是一个非常流行的python模块，这个模块可以解析网页，并提供定位内容的便捷接口，对于Beautiful Soup的介绍，大家在网上都能查到，博主就不浪费时间了。对于python3.x必须安装Beautiful Soup4，其他版本可能安装不了。
下载后解压到Python安装目录下
打开cmd编辑器，进入到beautifulsoup文件夹内
执行
setup.py build
然后执行
setup.py install
这样 Beautiful Soup模块就顺利的安装到了python3.4里
第五步，下载lxml库，lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。这一步博主真是走了好多弯路，先是下载lxml的版本不匹配，再是pip版本太低，弄了好久终于解决了。
在资源库里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/，这里lxml有好多版本：
cp27代表是python2.7，cp34代表python3.4，amd64是64位的系统，不加代表32位。大家一定要对号入座，版本下错就惨了，就像博主我。。。
下载后把它放进python的安装目录下，此操作与Beautiful Soup一样，这样主要是为了方便管理。在cmd命令里，先执行“python -m pip install wheel”，安装wheel，成功后在python目录下的Lib\site-packages，能查看到wheel文件夹，代表安装成功。
然后安装lxml，“python -m pip install 你的lxml的路径（D:\workapps\python3.4.4\lxml-3.6.4-.....）”,如果提示你pip版本太低，则先更新pip（pip是一个安装和管理 Python 包的工具），命令行输入“python
-m pip upgrade pip”，升级完成后，再次安装lxml，就完成了。最后打开Pycharm，测试程序OK!!!
附上淘宝网页抓取测试代码：
本文转载于：https://blog.csdn.net/u011139117/article/details/52788785
最新文章
- LeetCode——Single Number II（找出数组中只出现一次的数2）
- WIFI功率修改
- Python 入门简介(一)
- 10大html5前端框架
- 搭建Cocos Code IDE开发环境
- (原创)如何在spannableString中使用自定义字体
- [问题]编译报错：clang: error: linker command failed with exit code 1及duplicate symbol xxxx in错误解决方法之一
- GDB 运行PYTHON 脚本+python 转换GDB调用栈到流程图
- QQ群成员提取
- saiku中多cube排序问题
- Class类对象的三种实例化方法
- layer初步使用
- win32 Message(MSG)消息处理
- 在IDEA中spring程序可以正常运行，但IDE报错Could not autowire.
- Python_Mix*内置函数
- nova 命令管理虚拟机
- 【python】声明编码的格式
- Python基础之面向对象进阶一
- 关于Java 软件工程师应该知道或掌握的技术栈
- git diff 结果分析