requests模块

一、介绍

#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

#安装：pip3 install requests

#各种请求方式：常用的就是requests.get()和requests.post()

>>> import requests

>>> r = requests.get('https://api.github.com/events')

>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})

>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})

>>> r = requests.delete('http://httpbin.org/delete')

>>> r = requests.head('http://httpbin.org/get')

>>> r = requests.options('http://httpbin.org/get')

#建议在正式学习requests前，先熟悉下HTTP协议

http://www.cnblogs.com/linhaifeng/p/6266327.html

二、基于GET请求

1、基本请求

import requests

response=requests.get('http:/www.baidu.com/')

print(response.text)

2、带参数的GET请求->params

 1 #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容

 2 import requests

 3 response=requests.get('https://www.baidu.com/s?wd=python&pn=1',

 4                       headers={

 5                         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',

 6                       })

 7 print(response.text)

 8

 9

10 #如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码

11 from urllib.parse import urlencode

12 wb = "haiyan海燕"

13 encode_res = urlencode({"k":wb},encoding="utf-8")

14 print(encode_res)  #k=haiyan%E6%B5%B7%E7%87%95

15 keywords = encode_res.split("=")[1]  #haiyan%E6%B5%B7%E7%87%95

16 url = "https://www.baidu.com/s?wd=%s&pn=1"%(keywords)

17 # url = "https://www.baidu.com/s?"+encode_res

18 print(url)

19 # 然后拼接成url

20 response = requests.get(

21     url,

22     headers = {

23         "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",

24     }

25 )

自己拼接GET参数

 1 #上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode

 2 from urllib.parse import urlencode

 3 wd='海燕nnn'

 4 pn=1

 5

 6 response=requests.get('https://www.baidu.com/s',

 7                       params={

 8                           'wd':wd,

 9                           'pn':pn

10                       },

11                       headers={

12                         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',

13                       })

14 res2=response.text

15

16 #验证结果，打开a.html与b.html页面内容一样

17 with open('a.html','w',encoding='utf-8') as f:

18     f.write(res1)

19 with open('b.html', 'w', encoding='utf-8') as f:

20     f.write(res2)

21

22 params参数的使用

params参数的使用

3、带参数的GET请求->headers

#通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下

Host

Referer #大型网站通常都会根据该参数判断请求的来源

User-Agent #客户端

Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了
#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)

import requests

response=requests.get('https://www.zhihu.com/explore')

response.status_code #500

#自己定制headers

headers={

    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',

}

respone=requests.get('https://www.zhihu.com/explore',

                     headers=headers)

print(respone.status_code) #200

4、带参数的GET请求->cookies

#登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码

#用户名:egonlin 邮箱378533872@qq.com 密码lhf@123

import requests

Cookies={   'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',

}

response=requests.get('https://github.com/settings/emails',

             cookies=Cookies) #github对请求头没有什么限制，我们无需定制user-agent，对于其他网站可能还需要定制

print('378533872@qq.com' in response.text) #True

三、基于POST请求

1、介绍

#GET请求

HTTP默认的请求方法就是GET

     * 没有请求体

     * 数据必须在1K之内！

     * GET请求数据会暴露在浏览器的地址栏中

GET请求常用的操作：

       1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求

       2. 点击页面上的超链接也一定是GET请求

       3. 提交表单时，表单默认使用GET请求，但可以设置为POST

#POST请求

(1). 数据不会出现在地址栏中

(2). 数据的大小没有上限

(3). 有请求体

(4). 请求体中如果存在中文，会使用URL编码！

#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

2、发送post请求，模拟浏览器的登录行为

注意：
　1、对于登录来说，应该输错用户名或密码然后分析抓包流程，用脑子想一想，输对了浏览器就跳转了，还分析个毛线，累死你也找不到包

　　2、要做登录的时候一定记得要把cookie先清除； 
　　3、requests.session():中间的cookie都不用自己分析了，有用的没用的都给放进来了、
　　4、response.cookie.get_dict()    #获取cookie

 1 '''

 2 一 目标站点分析

 3     浏览器输入https://github.com/login

 4     然后输入错误的账号密码，抓包

 5     发现登录行为是post提交到：https://github.com/session

 6     而且请求头包含cookie

 7     而且请求体包含：

 8         commit:Sign in

 9         utf8:✓

10         authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==

11         login:egonlin

12         password:123

13

14

15 二 流程分析

16     先GET：https://github.com/login拿到初始cookie与authenticity_token

17     返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）

18     最后拿到登录cookie

19

20     ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文

21 '''

22

23 import requests

24 import re

25

26 #第一次请求

27 r1=requests.get('https://github.com/login')

28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)

29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN

30

31 #第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码

32 data={

33     'commit':'Sign in',

34     'utf8':'✓',

35     'authenticity_token':authenticity_token,

36     'login':'317828332@qq.com',

37     'password':'alex3714'

38 }

39 r2=requests.post('https://github.com/session',

40              data=data,

41              cookies=r1_cookie

42              )

43

44

45 login_cookie=r2.cookies.get_dict()

46

47

48 #第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置

49 r3=requests.get('https://github.com/settings/emails',

50                 cookies=login_cookie)

51

52 print('317828332@qq.com' in r3.text) #True

53

54 自动登录github（自己处理cookie信息）

自动登录github（自己处理cookie信息）

1 import requests

 2 import re

 3

 4 session=requests.session()

 5 #第一次请求

 6 r1=session.get('https://github.com/login')

 7 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN

 8

 9 #第二次请求

10 data={

11     'commit':'Sign in',

12     'utf8':'✓',

13     'authenticity_token':authenticity_token,

14     'login':'317828332@qq.com',

15     'password':'alex3714'

16 }

17 r2=session.post('https://github.com/session',

18              data=data,

19              )

20

21 #第三次请求

22 r3=session.get('https://github.com/settings/emails')

23

24 print('317828332@qq.com' in r3.text) #True

requests.session()自动帮我们保存cookie信息

登录github小应用

import requests

import re

#第一次请求

    # GET请求

    # 请求头

    #    - 获取token和

    #    - User-agent

    #    - cookie

# 第二次请求

    #POST请求

    #请求头

        # referer

        # User-agent

    #请求体

        #获取data

# 第三次请求，登录成功之后

    #- 请求之前自己先登录一下，看一下有没有referer

    #- 请求新的url，进行其他操作

    #- 查看用户名在不在里面

#第一次请求

response1 = requests.get(

    "https://github.com/login",

    headers = {

        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",

    },

)

authenticity_token = re.findall('name="authenticity_token".*?value="(.*?)"',response1.text,re.S)

r1_cookies =  response1.cookies.get_dict()

# print(r1_cookies,"cookie")  #获取到的cookie

#第二次请求

response2 = requests.post(

    "https://github.com/session",

    headers = {

        "Referer": "https://github.com/",

        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",

    },

    data={

            "commit":"Sign in",

            "utf8":"✓",

            "authenticity_token":authenticity_token,

            "login":"haiyanzzz",

            "password":"xxxx",

zhy..azjash1234

    },

    cookies = r1_cookies

)

print(response2.status_code)

print(response2.history)  #跳转的历史状态码

#第三次请求，登录成功之后，访问其他页面

r2_cookies = response2.cookies.get_dict()  #拿上cookie，知道是你登录了，就开始访问页面

response3 = requests.get(

    "https://github.com/settings/emails",

    headers = {

        "Referer": "https://github.com/",

        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",

    },

    cookies = r2_cookies,

)

print(response3.text)

print("haiyanzzz" in response3.text)   #True返回True说明就成功了

3、补充

 1 requests.post(url='xxxxxxxx',

 2               data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed

 3

 4 #如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值

 5 requests.post(url='',

 6               data={'':1,},

 7               headers={

 8                   'content-type':'application/json'

 9               })

10

11

12 requests.post(url='',

13               json={'':1,},

14               ) #默认的请求头:application/json

四、响应Response

1、response属性

import requests

respone=requests.get('http://www.jianshu.com')

# respone属性

print(respone.text)

print(respone.content)

print(respone.status_code)

print(respone.headers)

print(respone.cookies)

print(respone.cookies.get_dict())

print(respone.cookies.items())

print(respone.url)

print(respone.history)

print(respone.encoding)

#关闭：response.close()

from contextlib import closing

with closing(requests.get('xxx',stream=True)) as response:

    for line in response.iter_content():

    pass

2、编码问题

#编码问题

import requests

response=requests.get('http://www.autohome.com/news')

# response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码

print(response.text)

3、获取二进制数据

import requests

response=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b3
6e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')

with open('a.jpg','wb') as f:

    f.write(response.content)
stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
 1 #stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的

 2

 3 import requests

 4

 5 response=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',

 6                       stream=True)

 7

 8 with open('b.mp4','wb') as f:

 9     for line in response.iter_content():

10         f.write(line)

获取二进制流(iter_content)

4、解析json

#解析json

import requests

response=requests.get('http://httpbin.org/get')

import json

res1=json.loads(response.text) #太麻烦

res2=response.json() #直接获取json数据

print(res1 == res2) #True

5、Redirection and History

 1 By default Requests will perform location redirection for all verbs except HEAD.

 2

 3 We can use the history property of the Response object to track redirection.

 4

 5 The Response.history list contains the Response objects that were created in order to complete the request. The list is sorted from the oldest to the most recent response.

 6

 7 For example, GitHub redirects all HTTP requests to HTTPS:

 8

 9 >>> r = requests.get('http://github.com')

10

11 >>> r.url

12 'https://github.com/'

13

14 >>> r.status_code

15

16 >>> r.history

17 [<Response [301]>]

18 If you're using GET, OPTIONS, POST, PUT, PATCH or DELETE, you can disable redirection handling with the allow_redirects parameter:

19

20 >>> r = requests.get('http://github.com', allow_redirects=False)

21

22 >>> r.status_code

23

24 >>> r.history

25 []

26 If you're using HEAD, you can enable redirection as well:

27

28 >>> r = requests.head('http://github.com', allow_redirects=True)

29

30 >>> r.url

31 'https://github.com/'

32

33 >>> r.history

34 [<Response [301]>]

35

36 先看官网的解释
import requests

import re

#第一次请求

r1=requests.get('https://github.com/login')

r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)

authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN

#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码

data={

    'commit':'Sign in',

    'utf8':'✓',

    'authenticity_token':authenticity_token,

    'login':'317828332@qq.com',

    'password':'alex3714'

}

#测试一：没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面，r2代表新页面的response

r2=requests.post('https://github.com/session',

             data=data,

             cookies=r1_cookie

             )

print(r2.status_code) #200

print(r2.url) #看到的是跳转后的页面

print(r2.history) #看到的是跳转前的response

print(r2.history[0].text) #看到的是跳转前的response.text

#测试二：指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面，r2代表的仍然是老页面的response

r2=requests.post('https://github.com/session',

             data=data,

             cookies=r1_cookie,

             allow_redirects=False

             )

print(r2.status_code) #302

print(r2.url) #看到的是跳转前的页面https://github.com/session

print(r2.history) #[]

利用github登录后跳转到主页面的例子来验证它

五、高级用法

1、SSL Cert Verification

 1 #证书验证(大部分网站都是https)

 2 import requests

 3 respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端

 4

 5

 6 #改进1:去掉报错,但是会报警告

 7 import requests

 8 respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200

 9 print(respone.status_code)

10

11

12 #改进2:去掉报错,并且去掉警报信息

13 import requests

14 from requests.packages import urllib3

15 urllib3.disable_warnings() #关闭警告

16 respone=requests.get('https://www.12306.cn',verify=False)

17 print(respone.status_code)

18

19 #改进3:加上证书

20 #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书

21 #知乎\百度等都是可带可不带

22 #有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站

23 import requests

24 respone=requests.get('https://www.12306.cn',

25                      cert=('/path/server.crt',

26                            '/path/key'))

27 print(respone.status_code)

2、使用代理

 1 #官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies

 2

 3 #代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)

 4 import requests

 5 proxies={

 6     'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码

 7     'http':'http://localhost:9743',

 8     'https':'https://localhost:9743',

 9 }

10 respone=requests.get('https://www.12306.cn',

11                      proxies=proxies)

12

13 print(respone.status_code)

14

15

16

17 #支持socks代理,安装:pip install requests[socks]

18 import requests

19 proxies = {

20     'http': 'socks5://user:pass@host:port',

21     'https': 'socks5://user:pass@host:port'

22 }

23 respone=requests.get('https://www.12306.cn',

24                      proxies=proxies)

25

26 print(respone.status_code)

3、超时设置

1 #超时设置

2 #两种超时:float or tuple

3 #timeout=0.1 #代表接收数据的超时时间

4 #timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间

5

6 import requests

7 respone=requests.get('https://www.baidu.com',

8                      timeout=0.0001)

4、 认证设置

1 #官网链接：http://docs.python-requests.org/en/master/user/authentication/

 2

 3 #认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的

 4 # 但本质原理是拼接成请求头发送

 5 #         r.headers['Authorization'] = _basic_auth_str(self.username, self.password)

 6 # 一般的网站都不用默认的加密方式，都是自己写

 7 # 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法

 8 # 得到加密字符串后添加到请求头

 9 #         r.headers['Authorization'] =func('.....')

10

11 #看一看默认的加密方式吧，通常网站都不会用默认的加密设置

12 import requests

13 from requests.auth import HTTPBasicAuth

14 r=requests.get('xxx',auth=HTTPBasicAuth('user','password'))

15 print(r.status_code)

16

17 #HTTPBasicAuth可以简写为如下格式

18 import requests

19 r=requests.get('xxx',auth=('user','password'))

20 print(r.status_code)

5、异常处理

 1 #异常处理

 2 import requests

 3 from requests.exceptions import * #可以查看requests.exceptions获取异常类型

 4

 5 try:

 6     r=requests.get('http://www.baidu.com',timeout=0.00001)

 7 except ReadTimeout:

 8     print('===:')

 9 # except ConnectionError: #网络不通

10 #     print('-----')

11 # except Timeout:

12 #     print('aaaaa')

13

14 except RequestException:

15     print('Error')

6、上传文件

1 import requests

2 files={'file':open('a.jpg','rb')}

3 respone=requests.post('http://httpbin.org/post',files=files)

4 print(respone.status_code)

最新文章

  1. jQuery弹出美女大图片
  2. 在WildFly中运行多个standalone模式的实例
  3. CentOS7：安装Zabbix
  4. 腾讯Ubuntu云虚拟主机设置ftp服务器
  5. Sparse Graph---hdu5876（set+bfs+补图求最短路）
  6. uestc 1721 吴神,人类的希望
  7. IOS多线程之NSThread
  8. phpcms V9利用num++实现多样形式列表标签调用
  9. JS获取IP
  10. 一个纯CSS DIV天气动画图标【转扒的】
  11. SQL Server 查看正在运行的事务信息的 2 种方法。
  12. Course(简单的字符串处理问题)
  13. Eclipse之JSP页面的使用
  14. SpringBoot 之Thymeleaf模板.
  15. CSS【05】：CSS三大特性
  16. shell脚本--显示文本内容
  17. Java_常用工具类收集
  18. 【洛谷P1486】郁闷的出纳员
  19. Mysql数据库改名
  20. Idea中配置Tomcat

热门文章

  1. linux使用du查看文件夹大小
  2. 函数对象的apply()和call()方法
  3. cocos2dx[3.2](5) 屏幕适配
  4. ELK+Kafka日志收集环境搭建
  5. P1319 【压缩技术】
  6. 在redis里面使用lua
  7. Java中集合关键字的区别
  8. JMS(Java消息服务)入门教程（一）
  9. tableau单机版安装
  10. [转帖] 国产x86-海光禅定 2018年营收过亿?