scrapy-redis+selenium+webdriver 部署到linux上
背景:在使用selenium时,在本地使用windows,都会有一个图形界面,但是到了生产环境linux上没有了图形界面怎么部署呢?
解决方案:
1.安装图形化界面,不推荐,因为安装图形化界面会占用很多内存,而且在linux上搞个图形界面,很不爽
2.使用虚拟化图形界面,就跟你的虚拟机一样,也是一套系统,不过不会弹出个界面,推荐使用
系统配置:
redis 3.1.0
requests 2.21.0
Scrapy 1.6.0
scrapy-redis 0.6.8
scrapyd 1.2.0
scrapyd-client 1.1.0
linux:CentOS Linux release 7.6.1810 (Core)
firefox:Mozilla Firefox 65.0.1
selenium: 3.141.0
pyvirtualdisplay: 0.2.1
geckodriver.exe: 0.23
xvfb:xorg-x11-server-Xvfb-1.20.1-5.2.el7_6.x86_64
解释:
1.查看linux系统版本命令:cat /etc/redhat-release
2.安装xvfb: yum install xorg-x11-server-Xvfb gtk3
3.安装geckodriver:下载地址
I.制作软链接: ln -s /usr/bin/geckodriver /你的geckodriver目录
4.linux上安装firefox:下载地址
I.查看linux系统版本:linux命令行输入: getconf LONG_BIT,如果是64为就下载64位的firefox
II.上传到linux,解压:tar -xjf Firefox-latest-x86_64.tar.bz2
III.进入firefox目录,命令行输入firefox,出现Error: GDK_BACKEND does not match available displays,说明安装成功
IV:制作软链接,ln -s /usr/bin/firefox /你的火狐目录/firefox
5.安装pyvirtualdisplay:pip3 install pyvirtualdisplay (我是用的是python3,这是做的软链接是pip3)
----------------------------------------------------------菇凉滑溜溜的马甲线----------------------------------------------------------
插播一条新闻:今天看到一则消息,博客园技术大佬vamei因为抑郁症去世,之前看过他的很多博客,简洁幽默,令我心向往之,在此纪念,生而为人,当简单快乐,其他的都要排在第二位
最新文章
- CR LF的由来
- MVC 生成图片,下载文件
- ObjC 利用反射和KVC实现嵌套对象序列化成JSON数据
- 【转】Android Support v4、v7、v13的区别和应用场景
- 简单几何(极角排序) POJ 2007 Scrambled Polygon
- 报错Database returned an invalid value in QuerySet.datetimes(). Are time zone definitions for your database and pytz installed?解决
- 转:CentOS 7 安装Nginx
- sql语句中charindex的用法 可用于截取字符串
- Adobe CS6系列PJ方法
- 使用Sass预定义一些常用的样式,非常方便(转)
- 一台nginx服务器多域名配置 (转)
- [Linked List]Convert Sorted List to Binary Search Tree
- Java--对象内存布局
- html怎么引用css
- HDU5908 Abelian Period 暴力
- IPv4 forwarding is disabled. Networking will not work_问题解决
- windows下的端口转发命令netsh
- Jenkins解析日志(log-parser-plugin)
- Redis持久化存储(AOF与RDB两种模式)
- C# 实现CRC16校验