介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便

注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求

安装：pip install requests

常用的请求方式：requests.get(),requests.post()

import requests

res = requests.get('http://www.baidu.com')

res.encoding='utf-8'

print(res.text)   #获取百度首页页面html代码

#加上请求头headers伪装成浏览器，百度才会正常返回页面，不一定只加User-agent，每个网站需要加不一样的请求头参数，需要自己慢慢试
import requests

res = requests.get('https://www.baidu.com/s?wd=python',   #?拼接路径

                   headers = {

                    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'

                   })

res.encoding='utf-8'

print(res.text)

import requests

res = requests.get('https://www.baidu.com/s',

                   params={

                       'wd':'python'

                   },

                   headers = {

                    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'

                   })

res.encoding='utf-8'

print(res.text)

#通常我们在发送请求时需要带上请求头，请求头是将自身伪装成浏览器的关键，请求头headers中常见的参数如下：

Host

Referer   #大型网站通常都会根据该参数判断请求的来源

User-Agent

Cookie    #cookie信息虽然包含在请求头内，但requests模块有单独的参数来处理它，所以在headers中就不需要放它了

比如登录了某个网站，然后从浏览器获取cookies,以后就可以直接拿着cookie登录了，无需输入用户名密码

#GET请求方式

HTTP默认的请求方式是GET

    没有请求体

    数据必须在1k之内

    GET请求数据会暴露在浏览器的地址栏中（不安全）

GET请求常用的操作：

    1.在浏览器的地址栏中直接给出url，那么就一定是GET请求

    2.点击页面上的超链接也一定是GET请求

    3.提交表单时，表单默认使用GET请求，但可以设置为POST

#POST请求方式

1.数据不会出现在地址栏中

2.数据的大小没有上限

3.有请求体data     请求体就类似于，在登录某网站使用的用户名和密码

4.请求体中如果存在中文，会使用url编码

import requests

#设置headers请求头

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',

            'Referer': 'http://www.aa7a.cn/'

            }

#登录网站，需要传入data请求体参数

response = requests.post('http://www.aa7a.cn/user.php',

                         data={

                             'username': '1197865477@qq.com',

                             'password': 'wcc123',

                             'captcha': 'dbcn',

                             'remember': 1,

                             'ref': 'http://www.aa7a.cn/',

                             'act': 'act_login'

                         })

#登录网站后，网页会保存登录cookie，获取这个cookie

cookie=response.cookies.get_dict()#登录之后，会跳转到首页，向首页发送get请求,获取登录后页面html，带上headers和cookies

res = requests.get('http://www.aa7a.cn/',headers=headers,cookies=cookie)

if '1197865477@qq.com' in res.text:

    print('登录成功')

else:

    print('登录失败')

import requests

respone=requests.get('http://www.jianshu.com')

# respone属性

print(respone.text)

print(respone.content)

print(respone.status_code)

print(respone.headers)

print(respone.cookies)

print(respone.cookies.get_dict())

print(respone.cookies.items())

print(respone.url)

print(respone.history)

print(respone.encoding)

#关闭：response.close()

from contextlib import closing

with closing(requests.get('xxx',stream=True)) as response:

    for line in response.iter_content():

    pass

import requests

response=requests.get('http://www.baidu.com')

response.encoding='utf-8'

print(response.text)

#stream参数：一点一点取，比如下载很大的视频，用response.content一下子全部写到文件中是不合理的
import requests

response=requests.get('请求路由地址',stream=True)

with open('b.mp4','wb') as f:

    for line in response.iter_content():

        f.write(line)

#解析json

import requests

response=requests.get('http://httpbin.org/get')

import json

res1=json.loads(response.text)  #这种反序列化的方式太麻烦了

res2=response.json()   #直接获取到json数据

print(res1==res2)  #True

#证书验证（大部分网站都是https）

import requests

response=requests.get('http://www.12306.cn')  #如果是ssl请求，首先校验证书是否合法，不合法直接终止程序

#改进1：不进行校验，但是会报警告

import requests

response=requests.get('https://www.12306.cn',verify=False)  #不校验证书，报警告

print(response.status_code)   #返回200

#改进2：去掉报错，并且去掉警报信息

import requests

from requests.packages import urllib3

urllib3.disable_warings()  #关闭警告

response=requests.get('https://www.12306.cn',verify=False)

print(response.status_code)

#改进3：加上证书

#很多网站都是https,但是不用证书也可以，某些网站需要携带证书

import requests

response=requests.get('https://www.12306.cn',cert('/path/server.crt','/path/key'))  #证书地址

print(response.status_code)

#代理设置：先发送请求给代理，然后由代理帮忙发送 （这个就是正向代理）

import requests

proxies={

    'http':'49.70.94.204:9999',

    'https':'113.194.48.33:9999'

}

response=requests.get('https://12306.cn',proxies=proxies)

print(response.status_code)   #返回200代表这个代理ip可以使用

#超时设置

#有两种超时：float 和 tuple

#timeout=0.1  #代表接收数据的超时时间,0.1秒之后没接收到就超时

#timeout=(0.1,0.2)  #0.1代表链接超时  0.2代表接收数据的超时时间

import requests

response=requests.get('https:www.baidu.com',timeout=0.1)

import requests

files = {'file':open('a.jpg','rb')}

response=requests.post('https://httpbin.org/post',files=files)

print(response.status_code)

import requests

import re

res=requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=2&start=0')

#用正则方式获取视频id

reg_text = 'a href="(.*?)" class="vervideo-lilink actplay"'

obj=re.findall(reg_text,res.text)  #正则匹配

#for循环取出视频id,访问地址，获取真实视频地址mp4

for urls in obj:

    url = 'https://www.pearvideo.com/' + urls

    res1 = requests.get(url)  #请求单独的视频地址

    obj1 = re.findall('srcUrl="(.*?)"',res1.text) #获取到mp4地址

    name = obj1[0].rsplit('/',1)[1]  #获取视频的名字,用来做保存在本地文件的名字。切割地址，从右边切一次，取索引1的

    print(name)

    res2 = requests.get(obj1[0])  #二进制数据

    with open(name,'wb') as f:  #二进制读取

        for line in res2.iter_content():

            f.write(line)