Python爬虫之lxml-etree和xpath的结合使用
2024-09-04 22:57:52
本篇文章给大家介绍的是Python爬虫之lxml-etree和xpath的结合使用(附案例),内容很详细,希望可以帮助到大家。
lxml:python的HTML / XML的解析器
官网文档:https://lxml.de/
使用前需要安装lxml包
终端输入(win7.8,10在cmd输入)pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml
功能:
1 解析html:使用etree.html(text)将字符串格式的 html片段解析成 html 文档
2 读取xml文件
3 etree和xpath配合使用(本文主要介绍)
示例:etree和xpath配合使用
# lxml-etree读取文件from lxml import etree
xml = etree.parse("./py24.xml")
print(type(xml))# 查找所有 book 节点rst = xml.xpath('//book')
print(type(rst))
print(rst)# 查找带有 category 属性值为 sport 的元素rst2 = xml.xpath('//book[@category="sport"]')
print(type(rst2))
print(rst2)# 查找带有category属性值为sport的元素的book元素下到的year元素rst3 = xml.xpath('//book[@category="sport"]/year')
rst3 = rst3[0]
print('-------------\n',type(rst3))
print(rst3.tag)
print(rst3.text)
结果:
示例:使用lxml解析html代码
# 先安装lxml
# 用 lxml 来解析HTML代码
from lxml import etree
text = '''<p>
<ul>
<li class="item-0"><a href="0.html">item 0 </a></li>
<li class="item-1"><a href="1.html">item 1 </a></li>
<li class="item-2"><a href="2.html">item 2 </a></li>
<li class="item-3"><a href="3.html">item 3 </a></li>
<li class="item-4"><a href="4.html">item 4 </a></li>
<li class="item-5"><a href="5.html">item 5 </a></li>
</ul> </p>'''
# 利用 etree.HTML 把字符串解析成 HTML 文件
html = etree.HTML(text)
s = etree.tostring(html).decode()
print(s)
结果:
示例:读取xml文件
# lxml-etree读取文件from lxml import etree
xml = etree.parse("./py24.xml")
sxml = etree.tostring(xml, pretty_print=True)
print(sxml)
结果:
最新文章
- iOS之获取App的LaunchImage
- .net core 1.0 中的asp.net identity 的基本使用 序言
- 用ul 来制作导航栏的几个要点
- Ubuntu Git 入门
- uC/OS-II标志(flag)块
- 获取radio和select的值,获取select的值
- ios开发@selector的函数如何传参数/如何传递多个参数
- 使用qsort对结构体的数据排序
- 【海岛帝国系列赛】No.5 海岛帝国:独立之战
- 移动端拖拽(模块化开发,触摸事件,webpack)
- Socket连接与HTTP连接
- Web三维技术:Flash Builder+away3d平台搭建(含演示视频)
- (转)iOS7界面设计规范(10) - UI基础 - 文字排版与配色
- 有了bootstrap,为什么还要做amaze ui
- codeforces 148D 概率DP
- Eclipse UML 工具 ObjectAid 介绍
- Java高并发如何解决
- spring jar包
- 用 Deployment 运行应用 - 每天5分钟玩转 Docker 容器技术(123)
- mysql命令行的导入导出sql,txt,excel(都在linux或windows命令行操作)(转自筑梦悠然)
热门文章
- 【NX二次开发】获取面的类型 UF_MODL_ask_face_type
- vagrant+java+springcloud+redis+zookeeper镜像下载(&;制作详解)
- Binding(二):控件关联和代码提升
- SpringBoot数据访问(三) SpringBoot整合Redis
- 面向.NET开发人员的Dapr- actors 构建块
- GPU 高性能计算
- 触宝科技基于Apache Hudi的流批一体架构实践
- Python上下文管理器你学会了吗?
- Linux:从windows到linux的shell脚本编码和格式
- Java实验项目三——采用面向对象的方式设计线性表