selenium的使用对于新手来说十分友好,因为他避开了如今网络中的异步加载抓取的困扰,使得我们大部分的时间可以用于提取信息和存储中,下面就简单的列一些使用的代码,希望给同样初学的你有一定的参考价值。

#!/usr/bin/env python
# -*- coding: utf-8 -*- __author__ = 'Lix' from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time def selenium_example():
site_url = 'https://i.cnblogs.com/EditPosts.aspx?opt=1' driver = webdriver.Chrome()
driver.get(site_url)
time.sleep(3)
content = driver.page_source.encode('utf-8')
print driver.title
print content def main():
selenium_example() if __name__ == "__main__":
main()

这里的话你可以替换着找一些合适的网站试一下,运行的时候会自动弹出测试的浏览器(这里是谷歌浏览器),不是电脑或者其他与原因,请不要紧张。

接下来是如何利用selenium获取数据

定位元素

find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

举例

username = driver.find_element_by_name('username')
password = driver.find_element_by_name('password')

最新文章

  1. mybatis 一对一与一对多collection和association的使用
  2. CGrowableArray解析 _ DXUT容器
  3. 用百度webuploader分片上传大文件
  4. 1047: 小A的计算器
  5. 页面路由跳转地址-get方式
  6. C++中 容易忽视的const 修饰符
  7. encache学习教程
  8. XTU 1242 Yada Number 容斥
  9. [转载] DevOps年中盘点:国外最受欢迎的10篇技术文章
  10. android - python 自动化测试 移动互联网 - SegmentFault
  11. RHEL 7特性说明(七):编译程序及工具
  12. c#+ArcEngine中的IGroupLayer的用法
  13. Info模式下的隐形杀手(SpringMVC同时使用<mvc:resources.../>和FormattingConversionServiceFactoryBean时出现的问题)
  14. EntityFramework默认映射规则
  15. 我所知道的window.location
  16. 对JavaScript事件机制的一点理解
  17. 构建工具build tools
  18. OCM_第十三天课程:Section6 —》数据库性能调优 _结果缓存 /多列数据信息采集统计/采集数据信息保持游标有效
  19. C# 键值对数据排序
  20. 【PCA】

热门文章

  1. java TCP传输
  2. java 菜单
  3. Callable Objects
  4. P1026 翻硬币
  5. 5.29 SD省队培训D1
  6. codeforces 161D 点分治
  7. CITRIX VPX安装
  8. 剑指Offer-62.数据流中的中位数(C++/Java)
  9. tomcat+jdk安装部署
  10. Alpha阶段中间产物提交入口