Python爬虫 requests库基础
2024-08-23 00:53:13
requests库简介
requests是使用Apache2 licensed 许可证的HTTP库。
用python编写。
比urllib2模块更简洁。
Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。
在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求时,变得人性化,使用Requests可以轻而易举的完成浏览器可有的任何操作。
现代,国际化,友好。
requests会自动实现持久连接keep-alive
requests库安装
pip install requests
第一个爬虫程序:爬取搜狗首页的页面数据
import requests
def main():
#1、指定url
url='https://www.sogou.com/'
#2、发起get请求,会返回一个响应对象
response=requests.get(url=url)
#3、获取响应数据,调用响应对象的text属性,可获取页面源码数据
page_text=response.text
print(page_text)
#4、进行持久化存储,这里是写入文件,也可以存入数据库
with open('./sogou.html','w',encoding='utf-8') as fp:
fp.write(page_text)
print('爬虫结束!')
if __name__=='__main__':
main()
这样就可以自动获取到搜狗首页的数据了,下面是部分截图
最新文章
- NodeJS系列~第三个小例子,NodeJs与Redis实现高并发的队列存储
- Java集合源码分析(五)HashSet<;E>;
- Mysql-报错:1130-host ... is not allowed to connect to this MySql server 开放mysql远程连接 不使用localhost
- [1.1]Knowledge that should be prepared
- 【C语言】02-基本数据类型
- jQuery mouseover与mouseenter,mouseout与mouseleave的区别
- iOS几种简单有效的数组排序方法
- Android Splash界面支持用户点击 直接进入主界面
- Hibernate查询、连接池、二级缓存
- 使用STS时遇到的小“麻烦”
- JPG、PNG、GIF、SVG 等格式图片区别
- 《CLR via C#》读书笔记(一)——CLR的执行模式
- URL安全的Base64编码,解码
- Web browse的发展演变
- Win10下Prolific USB-to-Serial Comm Port驱动提示不能使用
- Linux查看所有用户和组信息
- jquery_ajax 跨域
- Linux (OpenBSD)系统目录分析
- Linux常用指令-ssh
- JVM优化-JVM参数配置
热门文章
- Spring整合Durid数据源
- python 利用 for ... else 跳出双层嵌套循环
- AT命令集详解
- [转载] Objectiv-C 入门一二三
- kudu_单master集群安装
- 哈理工新生赛 马拉车+贪心 最大密度子图 AC自动机+DP
- MySQL高可用篇之MHA集群
- 一看就懂之吐血整理的 Docker 学习笔记
- 前端Json对象与Json字符串互转(4种转换方式)
- [C#打包部署教程]002.VS2012 + Dotfuscator