在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头

python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

• 安装fake-useragent库

pip install fake-useragent

• 获取各浏览器的fake-useragent

from fake_useragent import UserAgent

ua = UserAgent()

#ie浏览器的user agent

print(ua.ie)

#opera浏览器

print(ua.opera)

#chrome浏览器

print(ua.chrome)

#firefox浏览器

print(ua.firefox)

#safri浏览器

print(ua.safari)

#最常用的方式

#写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头

print(ua.random)

print(ua.random)

print(ua.random)

示例代码

from fake_useragent import UserAgent

import requests

ua=UserAgent()

#请求的网址

url="http://www.baidu.com"

#请求头

headers={"User-Agent":ua.random}

#请求网址

response=requests.get(url=url,headers=headers)

#响应体内容

print(response.text)

#响应状态信息

print(response.status_code)

#响应头信息

print(response.headers)