selenium

selenium是一个支持各大浏览器的自动化测试工具，包括 Chrome，Safari，Firefox ，ie等。再构造爬虫时，如果我们加入了User-Agent，那么变伪装成了浏览器，可以骗过一些技术水平不太高的网站。但如果使用selenium，则就不是伪装浏览器，而是真正的用浏览器去访问。有时我们可能会遇到这种情况，前端页面展示出来的东西，并不在后端源代码中，自然无法通过使用requests请求获得源码进行爬取。这时候就可以使用selenium进行爬取数据，因为他就是用真实的浏览器去访问页面的，所以出现的内容和我们在前端看到的是一模一样的。

0x01:selenium安装

python下使用pip安装

pip install selenium

此外，因为selenium是配合浏览器一起使用，所以需要下载浏览器的驱动(webdriver)，以chrome为例

chrome的webdriver： http://chromedriver.storage.googleapis.com/index.html

不同的Chrome的版本对应的chromedriver.exe 版本也不一样，下载时不要搞错了。如果是最新的Chrome, 下载最新的chromedriver.exe 就可以了。把chromedriver的路径也加到环境变量里。

检测：运行这段代码，会自动打开百度

from selenium import webdriver		# 引入webdriver api

driver = webdriver.Chrome()		# 使用chrome浏览器声明一个webdriver对象

driver.get('http://www.baidu.com/')	# 表示使用chrome以get的方式请求百度的url

driver.find_element_by_id("kw").send_keys("selenium")	# 检索到百度的输入框，输入selenium

driver.find_element_by_id("su").click()	# 检索到百度的搜索按钮并点击

0x02：元素选取

在上面的实例中，最重要的就是找到搜索框和搜索按钮对应的元素，然后再进行相应的操作(输入关键字、点击)，强大的selenium提供了多种提取元素的方法。

单个元素提取

find_element_by_id		# 通过元素id

find_element_by_name	# 通过name属性

find_element_by_xpath	# 通过xpath

find_element_by_link_text	# 通过链接文本

find_element_by_partial_link_text

find_element_by_tag_name	# 通过标签名

find_element_by_class_name		# 通过class名称定位

find_element_by_css_selector	# 通过css选择器定位

多个元素提取，返回一个列表

find_elements_by_name

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name

find_elements_by_css_selector

0x03：操作元素方法

clear 清除元素的内容：clear(self)
send_keys 模拟按键输入：send_keys(self, *value)
click 点击元素：click(self)
submit 提交表单：submit(self)
获取元素属性：get_attribute(self, name)
获取元素文本：text

0x04：页面操作方法

from selenium import webdriver

打开浏览器：driver = webdriver.Chrome()
请求一个url：driver.get("www.baidu.com")
返回当前页面的title：title = driver.title
返回当前页面的url：url = driver.current_url
返回当前页面的源码：source = driver.page_source
关闭当前页面：driver.close()
注销并关闭浏览器：driver.quit()
浏览器前进：driver.forward()
浏览器后退：driver.back()
刷新当前页面：driver.refresh()
获取当前session中的全部cookie：get_cookies(self)
获取当前会中中的指定cookie：get_cookie(self, name)
在当前会话中添加cookie：add_cookie(self, cookie_dict)
添加浏览器User-Agent：

options.add_argument('User-Agent=Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30')
添加设置项Chrome Options：

options = webdriver.ChromeOptions()

options.add_argument('xxxx')

driver = webdriver.Chrome(chrome_options=options)

0x05:页面等待

既然selenium是使用浏览器发送请求，那么势必会加载一些东西，而且现在的网页越来越多采用了ajax技术。如果代码运行到了提取元素的地方，而这个元素尚未被加载，那么就会报错。为了解决这个问题，selenium提供了两种等待方式，隐式等待、显示等待。隐式等待是等待特定的时间，显式等待是指定某一条件直到这个条件成立时继续执行。

隐式等待

隐式等待比较简单，就是简单地设置一个等待时间，单位为秒。

  from selenium import webdriver

  driver = webdriver.Chrome()

  driver.implicitly_wait(10) # seconds

  driver.get("http://somedomain/url_that_delays_loading")

  myDynamicElement = driver.find_element_by_id("myDynamicElement")

显式等待

显式等待指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常了。

  from selenium import webdriver

  from selenium.webdriver.support.ui import WebDriverWait

  driver = webdriver.Chrome()

  driver.get("http://somedomain/url_that_delays_loading")

  try:

      element = WebDriverWait(driver, 10).until(

          EC.presence_of_element_located((By.ID, "myDynamicElement"))

      )

  finally:

      driver.quit()

wait模块的WebDriverWait类是显性等待类,参数如下：

WebDriverWait(driver, 超时时长, 调用频率, 忽略异常).until(可执行方法, 超时时返回的信息)

这里需要特别注意的是until或until_not中的可执行方法method参数，很多人传入了WebElement对象，如下：

WebDriverWait(driver, 10).until(driver.find_element_by_id('kw'))  # 错误

这是错误的用法，这里的参数一定要是可以调用的，即这个对象一定有 call() 方法，否则会抛出异常：

TypeError: 'xxx' object is not callable

在这里，你可以用selenium提供的 expected_conditions 模块中的各种条件，也可以用WebElement的 is_displayed() 、is_enabled()、is_selected() 方法，或者用自己封装的方法都可以。那么接下来我们看一下selenium提供的条件有哪些：

expected_conditions：

xpected_conditions是selenium的一个模块，其中包含一系列可用于判断的条件：

selenium.webdriver.support.expected_conditions（模块）

这两个条件类验证title，验证传入的参数title是否等于或包含于driver.title

title_is

title_contains

这两个人条件验证元素是否出现，传入的参数都是元组类型的locator，如(By.ID, 'kw')

顾名思义，一个只要一个符合条件的元素加载出来就通过；另一个必须所有符合条件的元素都加载出来才行

presence_of_element_located

presence_of_all_elements_located

这三个条件验证元素是否可见，前两个传入参数是元组类型的locator，第三个传入WebElement

第一个和第三个其实质是一样的

visibility_of_element_located

invisibility_of_element_located

visibility_of

这两个人条件判断某段文本是否出现在某元素中，一个判断元素的text，一个判断元素的value

text_to_be_present_in_element

text_to_be_present_in_element_value

这个条件判断frame是否可切入，可传入locator元组或者直接传入定位方式：id、name、index或WebElement

frame_to_be_available_and_switch_to_it

这个条件判断是否有alert出现

alert_is_present

这个条件判断元素是否可点击，传入locator

element_to_be_clickable

这四个条件判断元素是否被选中，第一个条件传入WebElement对象，第二个传入locator元组

第三个传入WebElement对象以及状态，相等返回True，否则返回False

第四个传入locator以及状态，相等返回True，否则返回False

element_to_be_selected

element_located_to_be_selected

element_selection_state_to_be

element_located_selection_state_to_be

最后一个条件判断一个元素是否仍在DOM中，传入WebElement对象，可以判断页面是否刷新了

staleness_of

上面是所有17个condition，与until、until_not组合能够实现很多判断，如果能自己灵活封装，将会大大提高脚本的稳定性。

0x06：鼠标操作

在现实的自动化测试中关于鼠标的操作不仅仅是click()单击操作，还有很多包含在ActionChains类中的操作。如下：

context_click(elem) 右击鼠标点击元素elem，另存为等行为
double_click(elem) 双击鼠标点击元素elem，地图web可实现放大功能
drag_and_drop(source,target) 拖动鼠标，源元素按下左键移动至目标元素释放
move_to_element(elem) 鼠标移动到一个元素上
click_and_hold(elem) 按下鼠标左键在一个元素上
perform() 在通过调用该函数执行ActionChains中存储行为

举例如下图所示，获取通过鼠标右键另存为百度图片logo。代码：

import time

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Firefox()

driver.get("http://www.baidu.com")

#鼠标移动至图片上 右键保存图片

elem_pic = driver.find_element_by_xpath("//div[@id='lg']/img")

print elem_pic.get_attribute("src")

action = ActionChains(driver).move_to_element(elem_pic)

action.context_click(elem_pic)

#重点:当右键鼠标点击键盘光标向下则移动至右键菜单第一个选项

action.send_keys(Keys.ARROW_DOWN)

time.sleep(3)

action.send_keys('v') #另存为

action.perform()

#获取另存为对话框(失败)

alert.switch_to_alert()

alert.accept()

0x07：键盘操作

在webdriver的Keys类中提供了键盘所有的按键操作，当然也包括一些常见的组合键操作如Ctrl+A(全选)、Ctrl+C(复制)、Ctrl+V(粘贴)。

send_keys(Keys.ENTER) 按下回车键
send_keys(Keys.TAB) 按下Tab制表键
send_keys(Keys.SPACE) 按下空格键space
send_keys(Kyes.ESCAPE) 按下回退键Esc
send_keys(Keys.BACK_SPACE) 按下删除键BackSpace
send_keys(Keys.SHIFT) 按下shift键
send_keys(Keys.CONTROL) 按下Ctrl键
send_keys(Keys.ARROW_DOWN) 按下鼠标光标向下按键
send_keys(Keys.CONTROL,'a') 组合键全选Ctrl+A
send_keys(Keys.CONTROL,'c') 组合键复制Ctrl+C
send_keys(Keys.CONTROL,'x') 组合键剪切Ctrl+X
send_keys(Keys.CONTROL,'v') 组合键粘贴Ctrl+V

这里使用的例子参考虫师的书籍《selenium2 python自动化测试》

import time

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()

driver.get("http://www.baidu.com")

#输入框输入内容

elem = driver.find_element_by_id("kw")

elem.send_keys("Eastmount CSDN")

time.sleep(3)

#删除一个字符CSDN 回退键

elem.send_keys(Keys.BACK_SPACE)

elem.send_keys(Keys.BACK_SPACE)

elem.send_keys(Keys.BACK_SPACE)

elem.send_keys(Keys.BACK_SPACE)

time.sleep(3)

#输入空格+"博客"

elem.send_keys(Keys.SPACE)

elem.send_keys(u"博客")

time.sleep(3)

#ctrl+a 全选输入框内容

elem.send_keys(Keys.CONTROL,'a')

time.sleep(3)

#ctrl+x 剪切输入框内容

elem.send_keys(Keys.CONTROL,'x')

time.sleep(3)

#输入框重新输入搜索

elem.send_keys(Keys.CONTROL,'v')

time.sleep(3)

#通过回车键替代点击操作

driver.find_element_by_id("su").send_keys(Keys.ENTER)

time.sleep(3)

driver.quit()

参考文章：

https://cuiqingcai.com/2599.html

https://huilansame.github.io/huilansame.github.io/archivers/sleep-implicitlywait-wait

https://blog.csdn.net/Eastmount/article/details/48108259

https://www.kancloud.cn/guanfuchang/python_selenium/710816

巴特西

selenium使用总结

selenium

expected_conditions：

最新文章

热门文章