多层iframe爬虫

Python爬虫关于多层嵌套iframe的解决

近期由于公司资源需要,我爬取了一个视频网站,结果以为一个很容易的小爬虫,却步步是坑啊,费了一天终于都解决了(太菜了!!!). 前面导航页的爬虫就不多说了,无非就是webdriver和PhantomJS,然后设置referer和ua,就可以一层一层访问了.其实大多数的网站的防爬都会这么做. 然后到了详情页面,就是我遇到的最困难的一步了.网站为了防止爬虫,嵌套了3层iframe,并且每个iframe都有很多限制,单独打开无法得到想要的数据. 但是PhantomJS获取到的网站源码即使是js加载完成以

jquery自定义弹层显示大图（兼容多层iframe）

1.介绍 a:可用于多层iframe中,显示在最外层 b:动画效果为从点击的图片位置开始放大至全屏显示 2.效果图 3.js代码 1 function ShowMaxImg(src, y, x, w, h) { 2 var str = '<section id="ShowMaxImgBox">'; 3 str += '<div class="button button-primary ShowMaxImgClose" onclick="w

多层iframe的页面取子标签

webdriver如何定位多层iframe中元素

在 web 应用中经常会出现 iframe 嵌套的应用,假设页面上有 A.B 两个 iframe,其中 B 在 A 内,那么定位 B 中的内容则需要先到 A,然后再到 B. iframe 中实际上是嵌入了另一个页面,而 webdriver 每次只能在一个页面识别,因此需要用 switch_to.frame 方法去获取 iframe 中嵌入的页面,对那个页面里的元素进行定位. 常用方法如下: # 先找到到 iframe1(id = f1) driver.switch_to_frame("f1&qu

多层iframe取值问题

var fid = self.frameElement.getAttribute("id");//获取当前页面的iframe的id值 var fid = ‘workspace’: window.top.frames["subFrm1Window"].document.getElementById(fid).contentWindow.document.getElementById("oldTradePwd").value="111111

多层 iframe 嵌套 js 方法调用

一下午一个这破问题,浪费了不少时间,怎么也实现不了我的上上级iframe 刷新.NND. 实现了,记录一下下吧: window.parent.parent.document.getElementById("content_frame").contentWindow.location.reload(); window.parent.parent.document.getElementById("content_frame").js方法.

Selenium-Switch--切换浏览器tab/iframe/alart

Switch 我们在UI自动化测试时,总会出现新建一个tab页面.弹出一个浏览器级别的弹框或者是出现一个iframe标签,这时我们用WebDriver提供的Api接口就无法处理这些情况了.需要用到Selenium单独提供的模块switch_to模块引用路径 # 第一种方式可以通过直接导入SwitchTo模块来进行操作 from selenium.webdriver.remote.switch_to import SwitchTo # 第二种方式是直接通过Webdriver的switch_to来

【基础】iframe之间的切换（四）

案例: 打开http://mail.126.com/,定位登录输入框时,却总是定位不到元素,后来发现,登录的内容在一个iframe中. 一.由主页面切换至iframe dr.switchTo().frame(); 1.int型的参数,代表的是下标,从0开始 2.String型的参数,为name或者id 3.WebElement型的参数,用dr.findElement()方法先找到这个元素二.iframe之间的切换 1.多层iframe切换,一层层进行切换 <html> <iframe

一键切换皮肤的解决思想及iframe嵌套时寻找下级iframe的方法

项目中有个一键切换皮肤的功能,感觉还不错,记录下,就是各颜色样式设置起来太复杂了,不知道有没有更简便的方法: 1.切换皮肤结构层 <li title="<s:text name='cems.skin'/>"> <a data-toggle="collapse" href="#colorPick"><img src="${basePath}/images/homePageicon/colorPic

selenium自动化之切换iframe

许多人在执行脚本的时候会发现,明明自己的元素路径没写错啊!怎么还是报元素未找到的异常呢?是的,没错,你可能是遇上iframe啦!下面将介绍关于iframe的相关操作. 例子:以163邮箱登录页面为例如果你直接去定位账号输入框元素的话是定位不成功的,看到上图标红处的箭头没,原来这个元素在iframe框架里面,要想定位这个元素,必须先切换到这个iframe内才行.我们先找到iframe这层.如下图: 代码: from selenium import webdriver # 导入webdriveri

Selenium定位多个iframe嵌套中的元素

在公司boss系统中,经常会遇到多层iframe嵌套的情况,导致无法定位最里面那层iframe的元素. 其实很简单,只要一层层定位iframe,定位到你想要的那层iframe即可: 如果操作完需要返回到原来的那层iframe,就需要先退出iframe,进行重新定位. 代码如下: driver.switchTo().defaultContent(); driver.switchTo().frame(1); //第一个iframe,没有id/name,可以取下标来定位 driver.switchTo

selenium 中在 iframe 内的元素定位

有些时候元素明明就在但是通过什么方式定位都提示定位不到元素此时就要考虑元素是不是内嵌在iframe 中对于内嵌在 ifra中的元素定位首先定位到 iframe 元素例如 iframe = drive.find... 这里只要能定位到iframe即可,用什么方式都可以然后是进入到iframe 通过这个方式进入 driver.switch_to.frame() 这个括号里面默认的是 id 最后是需要退出 ifram 退出有两种方式第一种是直接退出最外层 (因为有时候你进入的是多

C#】通过遍历IFrame访问页面元素

最近在做一个小项目,期间需要用到C#去操作IE页面中的元素,实现自动填写表单并且提交的功能,想这网上关于这方面的东西肯定很多,于是开始在网上找资料. 在逆心的博客上找到些东西对自己帮助很大,原文链接:http://www.cnblogs.com/kissdodog/p/3725774.html 1.首先添加必须的两个控件的引用 Microsoft Internet ControlsMicrosoft HTML Object Library 2.遍历所有的IE窗口 SHDocVw.ShellWin

Python3 Selenium自动化web测试 ==> 第二节页面元素的定位方法 -- iframe专题 <下>

学习目的: 掌握iframe矿建的定位,因为前端的iframe框架页面元素信息,大多时候都会带有动态ID,无法重复定位. 场景: 1. iframe切换查看iframe 切换iframe 多个iframe的问题 2.多窗口iframe 获取句柄切换句柄正式步骤: step1: 如果iframe中含有动态ID的情况规避方法问题截图规避代码: # -*- coding:utf-8 -*- """ 模拟登陆126邮箱 """ from sel

jBox使用记录

1.不显示底部按钮,可以将buttons设置为buttons:{} 例:$.jBox.open("iframe:http://www.baidu.com", "百度一下", 800, 350, { buttons: { } }); 2.在使用top.$时,父窗口请用 parent 或 top,如果是多层iframe,需要调用多个parent. 如取的父窗口中id为"aa"的input的值:var value=top.$("#aa&quo

一个跨域请求的XSS续

之前讨论过,在解决post跨域请求时,采用iframe+本域代理页的形式,兼容性(当然是包括IE6啦)是最好的.上次提到,代理页面的作用是:执行本域下的回调函数.就是这个原因,给XSS带来了便利.详细说明,请参考一个跨域请求的XSS漏洞上次也提到,解决这个问题的根本在于杜绝不合法的函数在页面内执行.上次透了一下懒,对函数名就行了包含匹配.过程如下: /** * callback的值为:namespace.function,prefix123456 */ var filter = [ 'name

JBox使用详解

插件说明 - jBox 是一款基于 jQuery 的多功能对话框插件,能够实现网站的整体风格效果,给用户一个新的视觉享受. 运行环境 - 兼容 IE6+.Firefox.Chrome.Safari.Opera 等主流浏览器.备注:IE不支持边框的圆角样式,不推荐大家使用蛋痛的IE浏览器. 使用授权 - jBox 永久免费使用,但是必须保留相关的版权信息.如果有好的建议,请Email: kudychen@gmail.com,jBox的完善需要大家的好建议. 使用方法 <script type=&quo

巴特西