Python爬虫进阶二之PySpider框架安装配置
2024-08-28 09:50:33
关于
首先，在此附上项目的地址，以及官方文档
安装
1. pip
首先确保你已经安装了pip，若没有安装，请参照
2. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。
以上附有官方安装方式，如果你是 Ubuntu 或 Mac OS X用户，可以直接用命令来安装
Ubuntu:
sudo apt-get install phantomjs
|
1
|
sudo apt-get install phantomjs
|
Mac OS X:
brew install phantomjs
|
1
|
brew install phantomjs
|
3. pyspider
直接利用 pip 安装即可
pip install pyspider
|
1
|
pip install pyspider
|
如果你是 Ubuntu 用户，请提前安装好以下支持类库
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml
|
1
|
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml
|
测试
如果安装过程没有提示任何错误，那就证明一些OK。
命令行输入
pyspider all
|
1
|
pyspider all
|
然后浏览器访问 http://localhost:5000
观察一下效果，如果可以正常出现 PySpider 的页面，那证明一切OK
在此附图一张，这是我写了几个爬虫之后的界面。
好，接下来我会进一步介绍这个框架的使用。
常见错误
我曾遇到过的一个错误：
PySpider HTTP 599: SSL certificate problem错误的解决方法 ，后来在作者那发了issue得到了答案，其他的暂时没什么问题。
不过发现有的小伙伴提了各种各样的问题啊，不过我确实都没遇到过，我再Win10，Linux Ubuntu，Linux CentOS，Mac OS X都成功运行。不过确实有些奇怪的问题，跑着跑着崩了，一点就崩了我也就比较纳闷了。
如果大家有问题，可以看看作者项目里面有没有类似的issue，另外也推荐大家直接到作者的GitHub上发issue。
毕竟，这个框架不是我写的。
在此附上Issue地址：
最新文章
- 一元多项式的乘法与加法运算(C语言)
- [RGEOS]绘制多边形Polygon
- mysql 多行合并一列
- BZOJ 4443: [Scoi2015]小凸玩矩阵 二分图最大匹配+二分
- Java - 选择性排序 PHP || Java 代码对比
- 【课程分享】基于plusgantt的项目管理系统实战开发(Spring3+JDBC+RMI的架构、自己定义工作流)
- Spring Quartz定时器 配置文件详解
- Android中的内容提供者
- 201521123057 《Java程序设计》第1周学习总结
- SpringBoot整合RabbitMQ-整合演示
- Android 视频播放器 (二)：使用MediaPlayer播放视频
- JS日期选择器
- 《Linux内核分析》第六周学习总结
- 微信小程序之 动画 —— 自定义底部弹出层
- 关于plantera
- Spring整合Struts2框架的第二种方式（Action由Spring框架来创建）（推荐大家来使用的）
- 转（C# 实现生产者消费者队列）
- 【安卓】给gallery内"控件"挂载事件,滑动后抬起手指时也触发事件(滑动时不应触发)的解决、！
- U盘安装Win7系统，遇到硬盘鼠标键盘失灵等情况，如何安装U盘中加入USB3.0驱动的支持
- Java 集合：迭代器（Iterator, Iterable）