12.Selenium+Python案例 -- 今日头条(获取科技栏目的所有新闻标题)
2024-09-03 05:50:52
一:具体代码实现
# -*- coding: utf-8 -*-
# @Time : 2018/7/26 16:33
# @Author : Nancy
# @Email : NancyWangDL@163.com
# @File : Demo4.py
# @Software: PyCharm from selenium import webdriver
import time
from pyquery import PyQuery as pq
from lxml import etree driver = webdriver.Ie()
driver.maximize_window() #浏览器窗口最大化
driver.get("https://www.toutiao.com/")
driver.implicitly_wait(10) driver.find_element_by_link_text("科技").click()
driver.implicitly_wait(10) time.sleep(5)
page = driver.page_source #page_source方法可以直接返回页面源码
doc = pq(page)
doc = etree.HTML(str(doc))
contents = doc.xpath('//div[@class="wcommonFeed"]/ul/li') for x in contents:
title = x.xpath('div/div[1]/div/div[1]/a/text()')
if title:
title = title[0]
print(title)
else:
pass
二:实现效果
最新文章
- VSALM 动手实验 - 持续集成
- CSS3特性 盒模型 动画
- C#, float.ToString()的一个坑
- Creader VIII VS. Creader VII+
- 通过虚拟机VMware来练习安装ESXi
- 面试题:获取大量数据中某一条的index
- PHP MySQL Insert Into 之 Insert
- sharpSVN说明文档
- [Angular Tutorial] 10 -More Templating
- PPT自动载入图片并矩阵分布
- salesforce零基础学习(七十二)项目中的零碎知识点小总结(一)
- 六、vue如何缓存页面
- Android 常见知识整理(1)
- ColumnStore完整验证指南之安装与启动停止
- ubuntu 学习
- vue之v-for循环的使用
- 杭电ACM1285----确定比赛名次『拓扑排序』
- Py之set操作【转载】
- Kafka-Monitor
- 李宏毅机器学习笔记2:Gradient Descent(附带详细的原理推导过程)