scrapy使用PhantomJS和selenium爬取数据
2024-08-22 12:19:43
1.phantomjs 安装
下载:http://phantomjs.org/download.html
解压:
tar -jxvf phantomjs-2.1.-linux-x86_64.tar.bz2
重命名:
mv /usr/local/phantomjs-2.1.-linux-x86_64/ /usr/local/phantomjs
软连接:
ln -s /usr/local/phantomjs/bin/phantomjs /usr/bin/
[root@izuf622gt8apcfsz7i1mqdz /]# phantomjs
phantomjs>
2.selenium 安装
pip 安装: pip install selenium
使用:
def process_request(self, request, spider):
driver = webdriver.PhantomJS()
# driver = webdriver.Chrome()
driver.get(request.url)
body = driver.page_source
input_first = driver.find_element_by_id('stockID_')
input_first.clear() input_first.send_keys('') button = driver.find_element_by_id('button')
dataClick = button.click()
print(dataClick)
body = driver.page_source
# driver.switch_to.frame('i_nr')
# print("访问:", driver.page_source)
return HtmlResponse(driver.current_url, body=body, encoding='utf-8')
最新文章
- C# 提取Word文档中的图片
- JavaEE SpringMVC 基础概念(如需详细资料请留言)
- 关于 某编译错误: This function or variable may be unsafe. Consider using strcat_s instead. To disable deprecation, use _CRT_SECURE_NO_WARNINGS.
- Maven下SiteMesh的使用
- 实现一种快速查找Richedit中可见区域内OLE对象的方法
- 让ASP.NET Web API支持text/plain内容协商
- 去除包裹的a标签
- UVa 548 (二叉树的递归遍历) Tree
- cf C. Bombs
- Oracle EBS-SQL (MRP-5):重起MRP Manager.sql
- 物理DG主备库切换时遇到ORA-16139: media recovery required错误
- [转]Libev源码分析 -- 整体设计
- Node.js(初识)
- UNIX标准
- php随机获取验证码
- java初级笔记
- Window Server 2008 R2 TFS2010 安装前的准备
- Exp2 MAL_后门原理与实践 20155214
- springmvc使用数组接收页面商品列表批量删除传过来的参数,并完成批量删除的操作。
- Spring------约束导入和application.xml的引入方式
热门文章
- 排座位&;&;Little Elephant And Permutation——排列dp的处理
- C/C++中如何计算程序运行的时间
- CSK &; KCF(tracking)
- python学习(八)定制类和枚举
- centos7 mysql5.7.17源码安装
- matlab的rem()和mod()函数
- asp.net DataTable导出 excel的方法记录(第三方)
- [php]修改站点的虚拟目录
- 数据库-Core Data
- layer弹窗的跳转功能