一.什么是爬虫

　　爬虫的概念:

通过编写程序,模拟浏览器上网,让其去互联网上爬取数据的过程.

　　爬虫的工作流程:

 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中

　　

　　

　　爬虫的分类:

  • 通用爬虫:爬取全部的页面数据.
  • 聚焦爬虫: 抓取页面中局部的页面数据
  • 增量式爬虫:爬取网站中更新出的数据

　　反爬机制

门户网站会通过制定相关的技术手段阻止爬虫程序进行数据的爬取

　　反反爬策略:

  • robots.txt协议: 防君子不防小人的协议
  • UA检测 ----->用户表示(通过什么样的代理发起的请求)
  • cookie ------>访问记录
  • 验证码 ------>打码平台
  • 动态加载数 ---->捕获ajax包
  • reference ---->跳转过来的地址

二.requests模块

　　1.requests请求过程涉及的协议

#1、请求方式：

    常用的请求方式：
　　　 GET:请求数据
　　　 POST:提交数据
　　　 PUT:更新数据
      DELETE:删除数据

    post与get请求最终都会拼接成这种形式：k1=xxx&k2=yyy&k3=zzz

    post请求的参数放在请求体内：

        可用浏览器查看，存放于form data内

    get请求的参数直接放在url后

#2、请求url

    url全称统一资源定位符，如一个网页文档，一张图片

    一个视频等都可以用url唯一来确定

    url编码

    https://www.baidu.com/s?wd=图片

    图片会被编码（看示例代码）

    网页的加载过程是：

    加载一个网页，通常都是先加载document文档，

    在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求
#3、请求协议格式:

　　请求首行:
　　　　协议格式:HTTP/HTTPS
　　　　请求方式:GET/POST
　　　　请求主机:
　　　　
　　请求头:
　　空行:
　　请求体:　　
#4、请求头
　　 User-agent：告诉它这是浏览器发过来的请求（请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户）务必加上
　　 host: 请求主机(服务器) 
　   cookies：cookie用来保存登录信息
　　 Referer:由哪一个网址跳转过来的,如果直接访问是这个值是空的(用来做防盗链和广告的作用的判断) 一般做爬虫都会加上请求头 
　　 content-type:content-type："urlencoded"/jason--->告诉服务器我提交数据的类型(psot请求才有的)

#5、请求体  
　　如果是get方式，请求体没有内容 
　　如果是post方式，请求体是format data 
　　ps： 

　　1、登录窗口，文件上传等，信息都会被附加到请求体内 
　　
   2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post

　　　关于contentype详解

          浏览器------------------>服务器

          1 针对post请求(post请求才有请求体)

          2 向服务器发送post请求有哪些形式:

                form表单 (urlencoded编码格式)

                    user=yuan

                    pwd=123

                Ajax（urlencoded编码格式）

                     a=1

                     b=2

              请求协议格式字符串

              发送urlencoded编码格式数据

              '''

                  请求首行

                  请求头

                  content-type："urlencoded"

                  空行

                  请求体 #  user=yuan&pwd=123   urlencoded编码格式

              '''

              发送json数据

               '''

                  请求首行

                  请求头

                  content-type："json"

                  空行

                  请求体 #  {"user":"yuan","pwd":123}   json编码格式

              '''

　　2.request爬取数据的流程

requests使用流程:
    -pip install requests
    - 指定url
    - 发起请求
    - 获取响应回来的页面数据
    - 持久化存储

import requests

#爬取搜狗首页的页面数据
#1.指定url
url = 'https://www.sogo.com/'
#2.发起请求:get方法会返回一个响应对象
response = requests.get(url=url)
#3.获取页面数据
page_text = response.text
#4.持久化存储
with open('sogou.html','w',encoding='utf-8') as fp:
　　fp.write(page_text)

　　3.带User-Agent的请求

  • User-Agent:请求载体的身份标识
  • 反爬机制:浏览器会请求头的UA来检测是用户请求还是机器请求
  • 反反爬策略:获取UA作为request的参数传进去,模拟一个正常的用户(浏览器)

例子:

url = 'https://www.qiushibaike.com/text/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
#手动设定请求的请求头信息
response = requests.get(url=url,headers=headers)
print(response.text)

　　拿UA:

　　4.带参数的request

某些网站会带着我们输入的参数进行请求:
看一个实例:
　　
import requests
kw=input('请输入一个词语')
params={
    'wd':kw
}
url='https://www.baidu.com/s'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
response=requests.get(url=url,params=params,headers=headers)

page_content=response.content #响应体的content是二进制的内容,text是文本内容

filename=kw+'.html'
with open(filename,'wb') as f:
    f.write(response.content)
　　

　　5.带coockies的请求

import uuid

import requests

url = 'http://httpbin.org/cookies'  #这个网址可以做测试使用

cookies = dict(sbid=str(uuid.uuid4()))

res = requests.get(url, cookies=cookies)

print(res.text)

　　6.带session对象的请求(比cookies好用)

#实例化一个是session对象,session对象包含着cookies

session=request.session()
#session对象可以直接发起请求的

session.get()

session.post()

　　7.request的post请求 　

1. post请求和get请求大致相同:post(url,headers,data/jason)就是参数的名字不一样而已,get请求参数是在params字典里面,
post请求参数在data或者jsaon里面(psot请求也可以有params参数,用来做跳转?next=)
　　形式: requests.post(url="/login/",headers={},cookies={},params={"next":"index"},data={},json={})

2.来看一个例子,爬取百度翻译的结果

　　

import requests

import json

url='https://fanyi.baidu.com/sug'

headers={

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'

}

kw=input('请输入一个词')

data={

    'kw':kw

}

response=requests.post(url=url,headers=headers,data=data)

print(response.json())

3,看一下jason和contentype的区别
 import requests
 res1=requests.post(url='http://httpbin.org/post', data={'name':'yuan'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed 
 print(res1.json()) 

 res2=requests.post(url='http://httpbin.org/post',json={'age':"22",}) #默认的请求头:application/json 
 print(res2.json())

{'args': {}, 'data': '', 'files': {}, 'form': {'name': 'yuan'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '9', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.21.0'}, 'json': None, 'origin': '121.35.181.66, 121.35.181.66', 'url': 'https://httpbin.org/post'}

{'args': {}, 'data': '{"age": "22"}', 'files': {}, 'form': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '13', 'Content-Type': 'application/json', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.21.0'}, 'json': {'age': '22'}, 'origin': '121.35.181.66, 121.35.181.66', 'url': 'https://httpbin.org/post'}

　　

　　8.request值ajax请求

import requests

#url和参数,直接用抓包工具去请求头和Query String ParamMetres抓取

url='https://movie.douban.com/j/chart/top_list'

#因为是ajax发起的get请求,所以数据用params

params={

    'type':'',

    'interval_id':'100:90',

    'action':'',

    'start': '',

    'limit':''

}

headers={

    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'

}

#从response看到Content-Type: application/json; charset=utf-8,说明是支持中文显示的

jason_text=requests.get(url=url,headers=headers,params=params).text

print(jason_text)

　　9.request的ajax的post请求

import requests

kw=input('请输入一个城市')

#这边要记住,这是post请求,post请求不能不会把参数直接拼接在路径后面,所有网址拷过来就不要动了

url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'

}

# post请求用的是data,记得啊

data={

    'cname':'',

    'pid': '',

    'keyword': kw,

    'pageIndex': '',

    'pageSize': ''

}

#抓包工具能看到他是text类型,utf-8吧编码的,支持中文显示

page_text=requests.post(url=url,headers=headers,data=data).text

print(page_text)

　　10.基于ajax的动态加载网址

import requests

url='http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'

}

#做循环作用的拿到所有页码的

for i in range(100):

    data={

        'on': 'true',

        'page': '',

        'pageSize': '',

        'productName':'',

        'conditionType': i,

        'applyname': '',

        'applysn': ''

    }

    # #json()方法:返回是一个序列化号的json对象

    jason_text=requests.post(url=url,data=data,headers=headers).json()

    jason_list=jason_text['list']

    #拿到所有企业的id(ajax发出的post请求是根据企业id返回结果的)

    id_list=[]

    for dic in jason_list:

        id_list.append(dic['ID'])

    #发出第二次请求,带上企业id就能拿到具体的值了

    url1='http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'

    for id in id_list:

        data1={

            'id': id

        }

        json_text=requests.post(url=url1,data=data1,headers=headers).text

        print(json_text)

　　11.带有代理的请求

import requests

res=requests.get('http://httpbin.org/ip', proxies={'http':'111.177.177.87:9999'}).json()

三.reponse的属性

　　1.常见属性

import requests

response=requests.get('https://www.jd.com/')

print(response.status_code)

print(response.text)  #文本内容

print(response.content) #二进制内容

print(response.headers)  #响应头

print((response.cookies)) #响应的cookie

print(response.cookies.get_dict())

print(response.cookies.items())

print(response.url)  #响应的url

print(response.history) #如果有重定向重定向之前相应的数据

print(response.encoding) #响应体的编码

　　2.编码问题

import requests

response=requests.get('http://www.autohome.com/news')

response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码

with open("res.html","w") as f:  #解码过程是在拿text过程中执行的

    f.write(response.text)

　　3.下载二进制内容

import requests

response=requests.get('http://bangimg1.dahe.cn/forum/201612/10/200447p36yk96im76vatyk.jpg')

with open("res.png","wb") as f:

    # f.write(response.content) # 比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的

    for line in response.iter_content():  #用迭代器可以一段一段,不知于把自己的硬盘搞垮了

        f.write(line)

　　4,解析jason数据

import requests

import json

response=requests.get('http://httpbin.org/get')

res1=json.loads(response.text) #太麻烦

res2=response.json() #直接获取json数据,和上面的同理

print(res1==res2)

　　

　　5. Redirection and History

　　默认情况下，除了 HEAD, Requests 会自动处理所有重定向。可以使用响应对象的 history 方法来追踪重定向。Response.history 是一个 Response 对象的列表，

为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。

>>> r = requests.get('http://github.com')

>>> r.url

'https://github.com/'

>>> r.status_code

200

>>> r.history

[<Response [301]>]

　　另外，还可以通过 allow_redirects 参数禁用重定向处理：

>>> r = requests.get('http://github.com', allow_redirects=False)

>>> r.status_code

301

>>> r.history

[]　　

　　6.相应状态码

　　　　response.status_code

　　　　#正常情况下我们是通过判断相应的状态码是不是200 来判断是否请求成功

　　　　我们也可可以通过相应对象的方法来直接捕获状态码不是200的响应

　　1.相应状态码不是200的

import requests

bad_r = requests.get('http://httpbin.org/status/404')

bad_r.status_code   #

bad_r.raise_for_status()  #当响应的状态码不是200的时候调用这个接口，会抛出异常，哦我们呢捕获这个异常就好了

Traceback (most recent call last):

  File "<input>", line 1, in <module>

  File "D:\python37\lib\site-packages\requests\models.py", line 941, in raise_for_status

    raise HTTPError(http_error_msg, response=self)

requests.exceptions.HTTPError: 404 Client Error: NOT FOUND for url: http://httpbin.org/status/404

　　2.状态码是200

import requests

res=requests.get('https://www.baidu.com/')

res.status_code  #

res.raise_for_status()  #当响应的状态码是200的时候，调用这个接口的返回值的None

print(res.raise_for_status())

None

　　3.判断响应状态码中和请求的状态码中的ok（200）是不是相等的

　　

importrequest

res=requests.get('https://www.baidu.com/')

res.status_code  #

res.status_code==requests.codes.ok

True

所以通用的请求状态码判断这块可以这么写：

import requests

try:

    res=requests.get('https://www.baidu.com/')

    res.raise_for_status()

except requests.HTTPError as error:

    print('status_error')

except:

    print('other error')

　　

　　有一篇博文写的很简洁,可参考

最新文章

  1. python之最强王者（9）——函数
  2. php错误处理-错误处理
  3. FingerprintJS - 在浏览器端实现指纹识别
  4. JSON数据解析 基础知识及链接收集
  5. Android PullToRefresh （GridView 下拉刷新上拉加载）
  6. 使用Jquery+EasyUI 进行框架项目开发案例讲解之五 模块（菜单）管理源码分享
  7. SQLSERVER:sqlserver2008r2安装好后，自动提示功能不可以使用
  8. myeclipse 8.6安装freemarker插件
  9. 从Windows 服务器通过sync向Linux服务器定时同步文件
  10. 关于group by的一段SQl语句——Oracle
  11. java设计模式之——适配器模式
  12. C#基础知识 结构与类的区别
  13. python学习——读取染色体长度（一、简化问题）
  14. 20175212 《Java程序设计》第2周学习总结
  15. JS将图片转为base64
  16. jdbc导致的问题
  17. Struts2框架中使用Servlet的API示例
  18. TCP 协议简析
  19. jvm虚拟机--垃圾回收子系统
  20. jcmd

热门文章

  1. c类库，委托，var ，运算符 is 和 as 。
  2. 项目一:第十一天 2、运单waybill快速录入 3、权限demo演示-了解 5、权限模块数据模型 6、基于shiro实现用户认证-登录（重点）
  3. 华为2013年西安java机试题目：如何过滤掉数组中的非法字符。
  4. ARC059F
  5. Excel课程学习第二课单元格格式设置
  6. maredit测试
  7. C#：数据库通用访问类 SqlHelper
  8. access + vb + asp 遇到一些问题的总结
  9. Django之博客系统：增加评论
  10. UIViewController+MJPopupViewController