会 python 的一定会爬虫吗,来看看
文章更新于:2020-02-18
注:python 爬虫当然要安装 python,如何安装参见:python 的安装使用和基本语法
一、什么是网络爬虫
网络爬虫就是用代码模拟人类去访问网站以获取我们想要信息。由于代码模拟的速度和效率很高,所以可以批量和动态获取我们想要的信息。比如抢票软件就是一直用代码访问12306网站获取余票信息,一有余票立马使用代码进行模拟购买。
二、网络爬虫的分类
- 通用网络爬虫。又称全网爬虫,爬行对象从一些种子URL扩充至整个Web,主要为门户站点、搜索引擎和大型Web服务提供商采集数据。
- 聚焦网络爬虫。是指有选择性的爬行哪些与预定主题相关页面的网络爬虫。
- 增量式网络爬虫。是指对已下载网页采取增量式更新的爬虫,只爬行发生更新的网页,减少了数据下载量。
- 深层网络爬虫。深层网页是指只有用户提交一些关键词才能获取的Web页面,隐藏在搜索表单后的。
三、网络爬虫的架构
- URL管理器:放置重复抓取和循环抓取。
- 网页下载器:用于下载网页,爬虫的核心部分之一。
- 网页解析器:用于提取网页中自己想要的数据,爬虫的另一个核心部分。
- 输出管理器:用于保存信息,将数据输出到文件或数据库。
四、爬虫如何工作
1、举个爬虫的例子,我们访问百度官网
import requests //导入requests包
#这个包需要提前安装,在cmd 里面进入 python 安装路径的 Scripts 目录输入 pip install lxml 进行安装
from lxml import etree //导入etree包
url = "https://www.baidu.com/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}
r = requests.get(url,headers=headers);
r.encoding = 'utf-8'
selector = etree.HTML(r.text)
news_text = selector.xpath('//*[@id="u1"]/a[1]/text()')[0]
news_url = selector.xpath('//*[@id="u1"]/a[1]/@href')[0]
print(news_url)
print(news_text)
说明如下
行数 | 说明 |
---|---|
第1行 | 导入requests包,用于使用get访问命令 |
第2行 | 导入etree包,用于使用xpath命令以找到自己想要的元素 |
第4行 | 设置我们想要访问的url |
第5行 | 设置访问头部信息headers,用于模拟浏览器访问 |
第7行 | 执行访问,并将获取的数据刚到r对象中 |
第8行 | 将r对象的编码方式设置为utf-8 |
第9行 | 用etree解析r对象数据并放到selector中 |
第11行 | 获取从根目录下找到id='u1’属性下的a标签的text内容 |
第12行 | 获取从根目录下找到id='u1’属性下的a标签的href内容 |
第13行 | 输出第11行获取的数据 |
第14行 | 输出第13行获取的数据 |
结果如下
http://news.baidu.com
新闻
五、如何定位元素
在HTML页面上右键、检查即可定位到HTML代码相应位置。
同时,在代码上右键、Copy、Copy XPath即可复制XPath地址。
初始化HTML源码
XPath即为XML路径语言,它是一种用于确定XML文档中某部分位置的语言。
如在代码中使用此功能需要导入lxml中的etree包
from lxml import etree
然后使用HTML源码初始化etree,并赋值给一个对象以保存
selector = etree.HTML(r.text)
这样我们就得到了一个名字叫做selector的Element对象,这时我们可以对这个Element对象进行XPath筛选,系统会返回一个筛选的结果列表。
使用标签顺序定位
比如我们要查找第一个div下的第二个ul下的a标签
all_a = selector.xpath('//div[1]/ul[2]/a')
//表示从根节点开始查找,然后找到第二个ul下的所有a标签。
==注意:==这里的数字是从1开始的,而不是从0开始的。
用属性定位
而同时,我们也可以通过属性查找元素。
li_good = selector.xpath('//ul/li[@[class="good"]')
上述代码可以找到ul下所有class属性为good的li标签。
用唯一属性全局定位
当然,如果class属性唯一,也可以直接中根目录开始查找。
li_good = selector.xpath('//*[@[class="good"]')
上述代码的意思是:从根目录下开始查找class属性为good的所有标签。*代表任意的标签。
提取属性值
li_good_text = selector.xpath('//*[@[class="good"]/a/@href')
这里通过@href语法形式提取到了a标签的属性值。
六、一些注意事项
import requests
response = requests.get(“https://www.baidu.com”)
这里可以通过
response.encoding
来查看返回值response的编码
通过
response.encoding = “utf-8”
来修改返回值response的编码
还可以通过
response.headers
来查看返回值response的头部
而请求头部则可以通过
response.request.headers
来查看
列表如下:
代码 | 说明 |
---|---|
response.encoding | 查看返回值的编码 |
response.encoding = “utf-8” | 修改返回值的编码 |
response.headers | 查看返回头部 |
response.request.headers | 查看请求头部 |
response.status_code | 查看返回状态码 |
response.history | 查看重定向 |
1、添加参数
payloag = {‘q’:‘pythoh’,‘cat’:‘10001’}
r = requests.get(url,headers=headers,params=payload)
最新文章
- Centos7 关闭防火墙
- idea快捷键(自用)
- 01@MySQL_Course_LabVIEW+MySQL程序开发
- meta标签总结
- 百度地图API应用实践(一) —— 栅格图(草稿)
- 非常有利于seo的主题(红黄蓝绿)通用教程
- FMDB的基本应用
- Delphi XE中类成员的访问权限(新增了strict private和strict protected,还有automated)
- bind启动时提示953端口被使用
- cURL模拟网页登陆
- LaTeX 公式编辑
- 如何用sysbench做好IO性能测试
- prometheus 基于文件的目标发现
- mysql为用户开启Trigger的权限
- 练习并熟练掌握交互式 SQL 语言
- bubble_sort(归并排序)
- django之模型
- sql server数据库查询超时报错
- Backup--压缩备份和TDE
- 【Android开发日记】之基础篇(一)——TextView+SpannableStringBuilder