python课程设计笔记(五) ----Resuests+BeautifulSoup （爬虫入门）

官方参考文档（中文版）：

requests：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

beautifulsoup：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

这篇博客只是简单介绍思路，建议直接阅读上面的官方文档

目标

从一个HTML或XML文件中提取数据，节省人工的时间。我这里提取一个html页面（https://www.zxzhijia.com/tuce/f1301_h_m )的所有图片。

需要安装的：requests 和 beautifulsoup，lxml解析器

requests 安装： pip install requests
beautifulsoup 安装：pip install beautifulsoup4
lxml解析器安装：pip install lxml

requests: 获取某个URL的内容。（这里只用到了获取HTML的内容）

Beautiful Soup :从HTML或XML文件中提取数据。

lxml解析器：beautifulsoup提取数据时用到。

requests获得的HTML内容要用lxml解析，用BeautifulSoup提取。

效果演示：

爬取的HTML页面：https://www.zxzhijia.com/tuce/f1301_h_m，要爬取七张装修案例的图片，把图片路径放入MySQL数据库

#爬取装修图片

import requests

import re  #正则表达式from bs4 import BeautifulSoup

#利用requests获取html网页内容

res=requests.get("https://www.zxzhijia.com/tuce/f1301_h_m")

#传给beautifulsoup，指定用lxml解析器解析

soup = BeautifulSoup(res.text, 'lxml')

#获得指定7个img图像

img_src=soup.find(name='div',class_='waterfall').findAll(name="img",src=re.compile("img"),limit=7)

for img in img_src:

    img=img['src']  #抓取src属性的属性值(图片的href）print(img)

详解beautifulsoup的作用：

res=requests.get("https://www.zxzhijia.com/tuce/f1301_h_m")

soup = BeautifulSoup(res.text, 'lxml')

这两句之后soup里面就有html的内容了。

BeautifulSoup会将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment。

树形结构很关键，比如一段这样的html，（下面都以这段为例）：

<html>

<head>

</head>

<body>

<div>

<li class="c">beautifulsoup</li>

<li><span>span里面的字</span>span外的字</li>

</ul>

</div>

</body>

beautifulsoap会生成文档树，我把它画出来了：

（直接从ul开始画）--就已经这么麻烦了

一个红框称为一个节点！！仔细看字符串也是一个节点！！

分析文档树中的节点（红框框）：

Tag类型：是最普通的节点，看图中这些，一个框叫一个Tag对象，不是”a””div”。看最上面的这个Tag对象，它的name（名字）是“ul”，它拥有的attributes（属性）是“class”，而这个属性的值为“c”。
NavigableString类型：普通字符串也一种节点类型。
BeautifulSoup 类型：表示的是一个文档的全部内容。大部分时候,可以把它当作 Tag 对象。就是一个HTML转换成树以后最上方的节点，比<html>..</html>还高。
Comment类型：注释，不多讲。

操作和遍历一个Tag对象的子节点

Beautiful Soup提供了许多操作和遍历子节点的属性。

1 获取单个Tag对象

获取单个tag: tag = soup.tag的名字 ----------这种方法只取当前名字的第一个Tag

import requests

from bs4 import BeautifulSoup

response=requests.get("http://localhost/test/test.html")

soup = BeautifulSoup(response.text, 'lxml')

tag=soup.li

print(tag.name)

#li

print(tag.string)

#beautifulsoup

获取单个tag对象里面的子tag对象： soup.tag名.tag名

2 获取一堆tag对象，用find_all()方法！！注意，返回的时子节点列表，获得tag对象或navigatestring对象需要遍历这个列表

find_all( name , attrs , recursive , text , **kwargs )

搜索当前tag的所有tag子节点，并判断是否符合条件，返回的是一堆子节点。

name:tag的名字，可以是字符串('a')、正则表达式（了解re的使用）,列表['a','div']，或者 True（全部） .

attrs={‘属性名a’，‘属性值b’} ：搜索子节点中拥有属性a，且a="b"的。

一般写法：可以直接写成属性名a=‘属性值b’ id='aaa' ,多个时用”,”隔开就可以。

对于css属性class 需要写成 _class="名称"，这样单个多个都可以匹配。不能写成class=" "，因为”class"时python保留字会有语法错误，写成attrs 时，如果class=“a b" ,就算只想搜索a，也必须写{”class":"a b"}才能搜索到这个tag，必须要完全匹配，所以不适合这么写。

text ：tag里面夹的string内容，soup.find_all(text=["Tillie", "Elsie", "Lacie"])

limit：可以使用 limit 参数限制返回结果的数量。当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果。文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量:

soup.find_all("a", limit=2)

recursive：调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

tag=soup.find_all("li")

tag=soup.find_all(re.compile("l"))

tag=soup.find_all(name='li',class_='c')

tag=soup.find_all('li',attrs={'class','c'})

tag=soup.find_all(True)

tag=soup.fine_all('li',limit=2)

find()方法：！！注意，获得的是一个子节点，就是tag对象或navigatestring对象，可以直接使用.name .string ['属性名']

用法和find_all方法一样。唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.

3 获取tag对象的属性值和tag对象里面的字符串内容(<div>XXX</div>中的XXX)

属性值：

　　tag['属性名']

字符串内容：

　　.string

一个tag对象中间的字符串，可以直接tag.string

如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点:tag.string

如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,输出结果与当前唯一子节点的 .string 结果相同.

如果tag有超过一个子节点就不能直接.string，只会输出None

举例：遍历find_all()获得的list：

tags=soup.find_all('li')

for item in tags:

    print(item.string)

#beautifulsoup

#None

#链接

4 遍历一个tag对象的所有子节点

.contents 一个tag对象的所有直接子节点组成的list

循环遍历直接子节点 .children

for child in tag.children:  

　　print(child)

循环遍历所有子节点 .descendants

for child in tag.descendants:

　　print(child)

巴特西

python课程设计笔记(五) ----Resuests+BeautifulSoup （爬虫入门）

最新文章

热门文章