引言: 在自动化测试以及爬虫领域,无头浏览器的应用场景非常广泛,本文将梳理其中的若干概念和思路,并基于代码示例其中的若干使用技巧. 1. 无头浏览器 通常大家在在打开网页的工具就是浏览器,通过界面上输入网址就可以访问相应的站点内容,这个就是通常所说的基于界面的浏览器.除了这种浏览器之外,还有一种叫做无头浏览器的东西,主要是用作爬虫,用以捕捉Web上的各类数据:这里的无头主要是指没有界面,完全是后台操作,对于网站来说,它以为访问它的就是一个真实的浏览器. 此类的框架包括: Phantomjs为代表

网页分析 首先来看下要爬取的网站的页面 查看网页源代码:你会发现它是由js动态加载显示的 所以采用selenium+谷歌无头浏览器来爬取它 1 加载网站,并拖动到底,发现其还有个加载更多 2 模拟点击它,然后再次拖动到底,,就可以加载完整个页面 示例代码 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by imp

在linux服务器上安装chrome : ubuntu: 下载页面https://www.chrome64bit.com/index.php/google-chrome-64-bit-for-linux   wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb                        下载   sudo apt-get install libxss1 libappindi

selenium: 有头浏览器的代表(selenium+python也可实现静默运行 引入python的一个包,包叫:虚拟屏幕pyvirtualdisplay) PhantomJS : 无头浏览器的代表 参考链接: https://www.cnblogs.com/cllovewxq/p/8072127.html(无头浏览器) PhantomJS框架(初识无头浏览器) selenium框架是有头浏览器的代表,即可看得见的浏览器 而headless browser无头浏览器,即看不见的浏览器 所谓看

博主今天看到大神聊起 headless,首先我去了解了下这个概念  无头浏览器 selenium框架是有头浏览器的代表,即可看得见的浏览器 而headless browser无头浏览器,即看不见的浏览器 所谓看不见的浏览器,通过JS在后台运行有关浏览器的一切操作省去可视化浏览器的操作,提高自动化的兼容性稳定性. 而无头浏览器的代表: PhantomJS框架 这里给出官方网站:http://phantomjs.org/,可以选择需要下载的版本 博主是windows版本的,文件解压在python路径

""" 获取浏览器 打开本地浏览器 打开远程浏览器 关闭浏览器 打开网址 最大化 最小化 标题 url 刷新 Python对Selenium封装浏览器调用 ------browser.py文件 """ from selenium import webdriver from Common.tools.rw_ini import read_config from .base import Base class Browser(Base): def g

1.安装jupyter notebook pip install jupyter 2.生成配置文件 jupyter notebook --generate-config 3.设置登陆密码并生成秘钥 sha1秘钥需要复制,下一步要用 4.修改配置文件 进入配置文件所在的文件夹:cd ~/.jupyter 编辑配置文件jupyter_notebook_config.py:vim jupyter_notebook_config.py 进入vim后,按i进入编辑模式,在文件的最后加上配置信息 c.Not

一.浏览器的构成 许多开发商提供了商用的浏览器来解释和显示Web文档,而所有这些浏览器几乎都使用相同的体系架构.每一种浏览器(browser)通常由三部分构成:一个控制程序,客户协议和一些解释程序.控制程序从键盘或者鼠标接受输入,并使用客户端程序访问文档.获取文档以后,控制程序使用解释程序将文档显示在屏幕上.客户机协议可以是主流协议之一,如FTP或者HTTP.解释程序可以是HTML,Java或者JavaScript,这取决于文档的类型. 渲染(计算机术语):渲染在电脑绘图中是指用软件从模型生成图

图片懒加载技术 selenium爬虫简单使用 2.1 selenium简介 2.2 selenium安装 2.3 selenium简单使用 2.3.1 selenium使用案例 2.3.2 selenium创建浏览器 2.3.3 selenium节点交互 2.3.4 selenium页面源码获取 2.3.5 selenium元素标签定位 2.3.6 selenium执行JS代码 2.3.7 selenium动作链 2.3.8 selenium前进和后退 2.3.9 selenium规避监测识别

浏览器访问Servlet1.指定一个Servlet路径(                     在web.xml :              <servlet>              <servlet-name>随意命名</servlet-name>              <servlet-class>包名.类名</servlet-class>              <init-param>              

现在很流行微信网页小游戏,用html5制作的小游戏移过来,可以放到微信浏览器中打开,关键是可以做成微信分享朋友圈的形式,大大提高游戏的传播,增强好友的游戏互动. 微信浏览器中打开网页游戏效果还不错,对手机要求不高,而且微信网页游戏不用考虑手机兼容性问题,采用html5,而且大部分手机浏览器,特别是微信浏览器对html5的支持很高. 怎么把别人的微信网页游戏移植到自己的网站上并分享给好友呢? 许多网站的微信网页游戏都设置了判断浏览器,只有使用微信浏览器打开才能访问,这使我们在电脑上打开网址找不到源

我在windows xp sp3下利用iis构架了FTP服务器,允许且只允许匿名用户登陆.但刚开始配置好后,不管是使用命令行模式还是使用浏览器都发现无法访问. 于是怀疑防火墙屏蔽端口所致,果不其然,在开启了相应端口后命令行模式下已经可以成功登陆,但浏览器却出现了425,经过防火墙日志的观察,发现使用浏览 器其实已经登陆上了,但是在获取文件列表时出现了错误,怀疑防火墙问题,于是关闭防火墙,果然浏览器可以成功访问,网上搜索了很多文章都没有解决.百度提 问至今零回答, 非常的郁闷,不想关闭防火墙,于是

工作中发生了一件诡异的事情: 程序在Win7+.NET4.0+IIS7.5的服务器部署,IE8和IE11请求时,响应的样式都正常. 但是在美的同事反映说,Windows Server 2003服务器.net4.0+IIS6.0的服务器,IE11浏览器访问的时候,页面错位,并且back按钮功能不对.诡异的是,在IE8,Firefox,Chrome等浏览器都是正常. 仅仅在服务器win2003+.net4.0+IIS6.0,客户端IE11遇到这种怪异的情况. 这种情况下,查看生成的源代码发现,获取的

今天将项目部署到JBoss服务器上,部署成功后,浏览器访问页面一直在等待响应. 查了很长时间,最后在服务器上通过jstack pid命令查看Java堆栈信息,发现了有两个线程死锁. 看到造成死锁的原因是因为log4j往控制台上打印信息时候,于是修改了项目的log4j配置文件,修改为不在控制台输出,重新打包部署,成功访问. 后来发现问题是log4j配置文件配置有问题:如下 我配置了两个输出,所以造成了再jboss上部署死锁问题(tomcat.jetty下可以正常运行,就是jboss上按照这个配置会

今天要给大家分享一段PHP代码,该代码的功能是用来判断访客是否移动端浏览器访问,该功能的实现思路是通过HTTP_X_WAP_PROFILE. HTTP_VIA.HTTP_USER_AGENT等信息来判断访客是否通过移动端浏览器访问PHP网站.以下是PHP代码: /** * 是否移动端访问访问 * * @return bool */ function isMobile() { // 如果有HTTP_X_WAP_PROFILE则一定是移动设备 if (isset ($_SERVER['HTTP_X_

前几天做项目遇到这样的一个问题:当某一个结点下有新的文章发表的时候,以邮件的形式通知该结点下的所有用户.这就需要用到邮件发送的功能. 因为项目是php语言做的,所以最简单的方法就是使用php自带的函数mail.如果是java语言的项目,那么邮件发送函数要自己写一个类. php自带有Mail这样的一个类,使用mail函数其实很简单,手册中都有详细的说明,可是具体使用时,情况复杂的,难免就要遇到很多问题. 例如:编写mail脚本的时候,将此脚本通过命令行运行,或者shell运行都是没有问题的.可是部

访问google其实很多时候都是为了搜索资料,本文分享下,chrome浏览器访问google插件 下载地址:http://www.ggfwzs.com/ 1,下载完成后,解压: 如下: 2,打开谷歌浏览器,如下: 3,把.crx文件拖入该页面即可: 4,如果想要每次打开浏览器都可以直接访问谷歌需要把默认打开首页设置如下(也可以自己手动设置浏览器默认打开页面): 一直用没出什么问题,但也仅限google搜索. 如果无法下载也可以加我qq,邮箱发你:1070490031

前言 现如今微信对第三方推广链接的审核是越来越严格了,域名在微信中分享转发经常会被拦截,一旦被拦截用户就只能复制链接手动打开浏览器粘贴才能访问,要不然就是换个域名再推,周而复始.无论是哪一种情况都会面临一个非常严重的问题,那就是用户体验差,用户量无法有效地累积起来,从而导致推广成本一直在增加,推广效率却无法有明显的提升. 所以针对这个问题,特写这篇文章来分享如何正常从微信内访问已经被拦截的链接,或者说如何有效地防止链接被微信拦截.此方法适用于安卓和苹果,且不需要安装任何软件和插件. 简单的处理方

微信最新自动跳转外部浏览器下载app/打开指定页面源码 源码说明: 适用安卓和苹果系统,支持任何网页链接.并且无论链接是否已经被微信拦截,均可实现微信内自动跳转浏览器打开. 生成的跳转链接具有极佳的防拦截效果. 使用方法: 1. 打开app点击分享按钮,在分享弹框中点击复制链接或通过分享到微信QQ等获取分享链接.如果是朋友分享给你的链接,直接复制那个分享链接即可. 2. 然后在浏览器(电脑和手机上都可以)中打开我们需要用到的 在线生成微信跳转链接 的工具:Elephant 3. 在工具的输入框中

虚拟机版本:6.0.4 r128413 (Qt5.6.2) linux:centos7/6 点击菜单栏中的设备->安装增强功能,再reboot 获取内核版本号 uname -r 查看yum的内核头文件是否存在,不存在wget下载安装 yum list | grep kernel-headers 不存在,获取新的内核rpm文件,并rpm安装到yum中: yum install wget wget http://vault.centos.org/7.6.1810/os/Source/SPackage