python爬虫(6)--Requests库的用法
1.安装
利用pip来安装reques库,进入pip的下载位置,打开cmd,默认地址为
C:\Python27\Scripts
可以看到文件中有pip.exe,直接在上面输入cmd回车,进入命令行界面,输入下载指令即可下载
pip install requests
2.基本请求
requests库提供了http所有的基本请求方式。
r = requests.get("http://httpbin.org/get")
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/head")
r = requests.options("http://httpbin.org/options")
1)基本GET请求
一个简单的例子
import requests word = {'key1': 'value1', 'key2': 'value2'}
headers = {'content-type': 'application/json'}
r = requests.get("http://httpbin.org/get", params=word, headers=headers)
print r.url
print type(r)
print r.status_code
print r.encoding
print r.cookies
这里requests.get可以打开网址,如果想要加参数,可以利用 params 参数,如果想添加 headers,可以传 headers 参数。得到结果如下:
http://httpbin.org/get?key2=value2&key1=value1
<class 'requests.models.Response'>
200
None
<RequestsCookieJar[]>
2)基本POST请求
对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。
以表单形式传送数据:
import requests word = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=word)
print r.text
运行结果
{
"args": {},
"data": "",
"files": {},
"form": {
"key1": "value1",
"key2": "value2"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "211.69.161.114",
"url": "http://httpbin.org/post"
}
传JSON格式的数据,可以用 json.dumps() 方法把表单数据序列化:
import requests
import json word = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=json.dumps(word))
print r.text
运行结果
{
"args": {},
"data": "{\"key2\": \"value2\", \"key1\": \"value1\"}",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": {
"key1": "value1",
"key2": "value2"
},
"origin": "211.69.161.114",
"url": "http://httpbin.org/post"
}
通过上述方法,我们可以POST JSON格式的数据
上传文件,直接用 file 参数
新建一个test.txt里面写上一段话:hello,zcx~
import requests files = {'file': open('test.txt', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print r.text
运行结果
{
"args": {},
"data": "",
"files": {
"file": "hello zcx~"
},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "",
"Content-Type": "multipart/form-data; boundary=1908d06ba8ed4066b557bf5e44359eaa",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "211.69.161.114",
"url": "http://httpbin.org/post"
}
requests 是支持流式上传的,这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传,仅需为你的请求体提供一个类文件对象即可
import requests with open('test.txt') as f:
a = requests.post('http://httpbin.org/post', data=f)
print a.text
3.Cookies
如果一个响应中包含了cookie,那么我们可以利用 cookies 变量来拿到
import requests url = 'http://example.com'
r = requests.get(url)
print r.cookies
另外可以利用 cookies 变量来向服务器发送 cookies 信息
import requests url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies)
print r.text
运行结果:
{
"cookies": {
"cookies_are": "working"
}
}
4.超时配置
可以利用 timeout 变量来配置最大请求时间
requests.get('https://www.baidu.com', timeout=0.1)
注:timeout 仅对连接过程有效,与响应体的下载无关。
也就是说,这个时间只限制请求的时间。即使返回的 response 包含很大内容,下载需要一定时间
5.会话对象
在以上的请求中,每次请求其实都相当于发起了一个新的请求。也就是相当于我们每个请求都用了不同的浏览器单独打开的效果。也就是它并不是指的一个会话,即使请求的是同一个网址
很明显,这不在一个会话中,无法获取 cookies,那么在一些站点中,我们需要保持一个持久的会话怎么办呢?就像用一个浏览器逛淘宝一样,在不同的选项卡之间跳转,这样其实就是建立了一个长久会话
解决方案如下
import requests s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456')
r = s.get("http://httpbin.org/cookies")
print r.text
这里我们请求了两次,一次是设置 cookies,一次是获得 cookies
运行结果
{
"cookies": {
"sessioncookie": ""
}
}
发现可以成功获取到 cookies 了,这就是建立一个会话到作用。
会话是一个全局的变量,可以用来全局的配置
import requests s = requests.Session()
s.headers.update({'x-test': 'true'})
r = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})
print r.text
运行结果
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Test": "true",
"X-Test2": "true"
}
}
如果get方法传的headers 同样也是 x-test ,那么它会覆盖掉全局变量。如果不想要全局配置中的一个变量了,设置为 None 即可
headers = {'x-test': None}
6.SSL证书验证
现在随处可见 https 开头的网站,Requests可以为HTTPS请求验证SSL证书,就像web浏览器一样。要想检查某个主机的SSL证书,可以使用 verify 参数
import requests r = requests.get('https://kyfw.12306.cn/otn', verify=True)
print r.text
如果想跳过证书验证,把 verify 设置为 False 即可,就可以正常请求了。在默认情况下 verify 是 True,所以如果需要的话,需要手动设置下这个变量。
7.代理
如果需要使用代理,可以通过为任意请求方法提供 proxies 参数来配置单个请求
import requests proxies = {
"https": "http://41.118.132.69:4433"
}
r = requests.post("http://httpbin.org/post", proxies=proxies)
print r.text
也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理
export HTTP_PROXY="http://10.10.1.10:3128"
export HTTPS_PROXY="http://10.10.1.10:1080"
最新文章
- x64 PL/SQL 连接 Oralce 提示 Could not initialize oci.dll
- Python成长笔记 - 基础篇 (十三)--堡垒机
- text-indent:-9999px 字体隐藏问题
- asp.net中控件的Attributes用法
- 夺命雷公狗ThinkPHP项目之----企业网站19之网站配置信息的修改
- 8.MVC框架开发(URL路由配置和URL路由传参空值处理)
- zabbix3.0配置邮件报警
- oracle 非数字型转数字型
- Silverlight 中MatrixTransform和其他Transform的数值转换
- 免费数据库(SQLite、Berkeley DB、PostgreSQL、MySQL、Firebird、mSQL、MSDE、DB2 Express-C、Oracle XE)
- 畅通工程 HDU - 1232
- [angularjs] AngularJs 知识回顾
- 安卓入门——————简单记账本的开发(用sqlite存储数据)(一)
- javascript event 事件解析
- shell脚本:通过域名获取证书的过期时间
- Maven设置本地仓库路径
- Docker Kubernetes Service 网络服务代理模式详解
- LINQ 如何动态创建 Where 子查询
- Spring Cloud 路由网关服务端
- tomcat启动报错 ERROR o.a.catalina.session.StandardManager 182 - Exception loading sessions from persiste