python爬取北京政府信件信息02
2024-08-29 21:57:54
在爬取详细信息页面中,又遇到了问题,就是标签内的信息爬取,用re的正则表达式没有找到解决办法,只能又去网上搜索解决办法
用bs4来解决,用
soup = BeautifulSoup(text,"html.parser")#解析text中的HTML
来进行分析,虽说这样会有标签信息附着,从网上找到解决办法,
第一种方法
调用find(text=True).strip()
第二种方法
调用stripped_strings
第三种方法
.get_text().lstrip().rstrip()
个人感觉第三种很好用,在实践之后特意添加
经过测试,不是很理想,对于简单的,只有div标签的很容易,对于第一种,好多p标签的就不好用了,正在寻找更加实用的代码
for add in ad:
r = add
address_ = "http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=%s" % add
print(address_)
# 爬取子页面的网页
html2 = requests.get(address_,headers = head2).text
reqname = re.findall(r'<div class="col-xs-10 col-sm-10 col-md-10 o-font4 my-2"><strong>(.*?)</strong></div>',html2)
reqtime = re.findall(r'<div class="col-xs-5 col-lg-3 col-sm-3 col-md-3 text-muted ">时间:(.*?)</div>',html2)
reqcontent = re.findall(r'<div class="col-xs-12 col-md-12 column p-2 text-muted mx-2">(.*?)</div>',html2)
# resname = re.findall(r'<strong>[官方回答]:</strong>(.*?)</div>',html2)
bs = bs4.BeautifulSoup(html2,"html.parser")
resname = bs.find('div',class_ = r''"col-xs-12 col-md-12 column p-2 text-muted mx-2"'')
print(reqname,reqtime,reqcontent,resname)
# print(html2)
最新文章
- Java Web之JSP技术
- ZooKeeper 配置文件(zoo.cfg)详解
- MVC 读书笔记
- VRP-Lua学习笔记
- YOUYOU深入学习Ganglia之三(gmetad的软件架构)
- sql优化-隐形转换危害
- mydumper原理5
- Spring_构造注入
- jvm系列(四):jvm知识点总结
- sqoop: mysql to hive
- layer 关闭当前弹出层
- sns.pairplot
- php学习之mysqli的面向对象
- html页面使用前端框架布局时,弹出子页面等情况若出现布局混乱,可能是回发导致
- zabbix web 配置
- jmeter 4.0版本更新说明(个人做个记录)总版本更新合集
- idea 码云 项目上传
- Cwrsync_rsync windows_windows下的rsync
- 织梦dedecms获取当前内容页栏目id号的方法
- UNITY 带spriterender的对象导出为prefab时主贴图丢失的BUG