下面我就给大家整理了Requests库的使用方法和细节。

什么是Requests

Requests是Python语言编写,基于urllib3,采用Apache2 Licensed开源协议的HTTP库。它比urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求。是Python实现的简单易用的HTTP库。

安装也很简单:

pip install requests

Request的语法操作

1.实例引入

 

2.各种请求方式

 

请求

1.基本GET请求

 

2.带参数的GET请求这个我们前面有使用过,也是最常用的方法。运行成功就可以看到网页的源码了。

 

3.解析json传入参数只需要我们把数据生成一个字典,然后调用params参数,赋值给他就可以,是不是很方便。

 

可以看出Requests的jaon解析和json的loads方法解析出来的结果是完全一样的。所以Requests可以很方便的解析json数据。

4.获取二进制数据

 

运行成功我们可以看到content方法获取的图片页面源码是二进制数据,而text获取的则是字符串代码。显然获取图片这种二进制数据需要使用content方法。这样我们就保存了图片,我们可以在文件夹下看到这张图片。

5.添加headers

 

 

有些网页如果我们直接去请求的话,他会查看请求的对象是不是浏览器,如果没有浏览器信息就会禁止我们爬虫的访问,这个时候我们就要给爬虫加一个headers,加一个浏览器的user-agent信息。这样我们就可以正常访问了。如果有的伙伴不知道怎么得到User-Agent,可以打开浏览器的审查元素,找到network,随便点击一个链接就可以看到User-Agent的信息了。

6.基本POST请求

 

一个POST必然是要有一个Form Data的表单提交的,我们只要把信息传给data参数就可以了。一个POST请求只需要调用post方法,是不是特别方便呢。如果不觉得方便的话,可以去参考urllib的使用方法。

响应

1.response属性

 

2.状态码判断获取这些信息只需要简单的调用就可以实现了。

 

好了,这篇文章我们了解了Requests库的基本语法操作,相信大家对Requests库的请求和响应已经很清楚了,大家完全可以抓取一些网页了。

最新文章

  1. Java对象表示方式2:XStream实现对对象的XML化
  2. php操作mongodb中的ISODate格式日期
  3. Fourth glance in Go
  4. GoLang之方法与接口
  5. 【Spring】Spring系列4之Spring支持JDBC
  6. Java nio 笔记:系统IO、缓冲区、流IO、socket通道
  7. 夺命雷公狗---DEDECMS----33dedecms自定义搜索以及分页功能完成
  8. 【leetcode❤python】Binary Watch
  9. StringBuffer与StringBuilder的异同
  10. 常用Oracle SQL语句(汇总版)
  11. SSH转发机制
  12. poj 2411 Mondriaan's Dream(状态压缩dp)
  13. 人工智能之基于face_recognition的人脸检测与识别
  14. Linux忘记密码常用的几种解决方法
  15. spring data jpa在使用PostgreSQL表名大小写的问题解决
  16. 界面为ScrollView时打开界面会自动滚动到底部之解决方法
  17. kindle看扫描版pdf的解决办法
  18. 重温PHP之选择排序
  19. 利用django.core.mail发送QQ邮件的配置
  20. Spark2.0 特征提取、转换、选择之二:特征选择、文本处理,以中文自然语言处理(情感分类)为例

热门文章

  1. CSS animation 属性
  2. 移动应用性能测试剖析以及PerfDog与其他工具的对比分析11.22
  3. CSTC-2017-Web-writeup
  4. 程序员的自我修养系列(一):优雅的代码管理工具之GitHub
  5. GitHub 总是打不开,网再好也米有用,怎么办?
  6. MySQL 部署分布式架构 MyCAT (二)
  7. Linux文件传输协议2019-7-9
  8. shell的几个实战脚本例子(欠)
  9. zz自动驾驶多传感器感知的探索
  10. LG2921 [USACO2008DEC]Trick or Treat on the Farm 内向基环树