selenium和PhantomJS的使用
2024-08-31 07:09:26
利用selenium来进行爬取数据
import time
from selenium import webdriver # 创建phantomjs浏览器对象
driver = webdriver.PhantomJS()
# 向网站发送请求
driver.get("http://www.baidu.com/")
# 打印响应html源码
print(driver.page_source)
# 查看源码中是否有搜索两个字,失败返回-1,成功非-1
print(driver.page_source.find("搜索"))
# 向百度搜索框发送内容
driver.find_element_by_id("kw").send_keys("拉勾")
# 点击搜索按钮
driver.find_element_by_id("su").click()
# 为了得到一张完整的图片,因此添加延时
time.sleep(2)
# 获取内存中网页中的截屏
driver.save_screenshot("拉勾.png")
# 关闭浏览器
driver.quit()
如果要用chrome浏览器的话,则将浏览器对象改为Chrome就可以
driver = webdriver.Chrome()
若要将有头浏览器变成无头浏览器的话,这添加
opt = webdriver.ChromeOptions()
opt.set_headless()
driver_item = webdriver.Chrome(options=opt)
还有好多方法,查看文档即可:https://python-selenium-zh.readthedocs.io/zh_CN/latest/
最新文章
- cocos2d-x打飞机实例总结
- JS策略模式
- 第十周 psp
- SpringMVC常用配置-添加静态资源处理器-针对SpringMVC中静态资源无法访问的问题
- kthread_run【转】
- SQL Server 中 with tmp 临时表的用法
- ios开发:GCD多线程
- 在类库或winform项目中打开另一个winform项目的窗体
- strcpy实现
- 导出函数结构 EXPORT_DIRECTORY
- 基于TcpDump和pcap文件分析的Android平台网络抓包程序设计与实现【随便】
- Spring(一)Spring的第一滴血
- Combiners和Partitioner编程
- Java爬虫——常用的maven依赖
- DUBBO分布式入门
- svn回复历史版本的操作方法
- input和raw_input
- BZOJ 3171 循环格(费用流)
- 前端架构一之XAMPP
- 0047 Spring的AOP入门基础--切面组件--通知--切入点
热门文章
- Oracle Shared Pool机制之——Latches, Locks, Pins and Mutexes
- Python学习之路【第二篇】-pyc简介、Python常用的数据类型及其用法和常用运算符
- Springboot+Mybatis批量导入多条数据
- linux nat style
- oracle create tablespace
- dl简单模板,无pretraining过程
- ubuntu12下安装eclipse+pydev +1搜索命令+kill指定进程
- laravel的validation 中文 文件
- Win10系列:UWP界面布局进阶8
- tomcat 线程数与 mysql 连接数综合调优