UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制。

  fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。下面将介绍fake-useragent的安装到使用。

  

安装

pip install fake_useragent

用法
  安装成功后,我们每次发送requests请求时通过random从中随机获取一个随机UserAgent,两行代码即可完成UserAgent的不停更换。

from fake_useragent import UserAgent

headers = {
"User-Agent":UserAgent().chrome
} r = requests.get(url, proxies=proxies, headers=headers, timeout=10)

 如果报错 :

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

 fake_useragent中存储的UserAgent列表发生了变动,而本地UserAgent的列表未更新所导致的,在更新fake_useragent后报错就消失了。

  按下Win +R 输入cmd 然后输入的下方代码即可

  Pycharm 中选中下方Terminal然后输入如下代码即可  

pip install -U fake-useragent

  

Python的其他包也可以用这种方法完成更新pip install -U 包名。

最新文章

  1. shape的简单用法
  2. JS代码的位置与事件响应代码块的封装问题
  3. swift:自定义UICollectionViewFlowLayout
  4. [LeetCode] Super Ugly Number (Medium)
  5. Git学习之添加远程仓库
  6. JAVA Calendar详解(转)
  7. dedecms如何修改共0页/0条记录为英文版?
  8. struts2(一) struts2入门
  9. RPCZ中的智能指针单例
  10. (转)使用JMeter进行Web压力测试
  11. CSS _text-align:justify;实现两端对齐
  12. spring入门 依赖入注的三种方式(1)
  13. 对Faster R-CNN的理解(1)
  14. 如何在vscode中调试python scrapy爬虫
  15. CSS 图像大小
  16. 灵书妙探第八季/全集Castle迅雷下载
  17. [转] 使用 MVC 5 的 EF6 Code First 入门 系列
  18. python学习笔记 - for循环: 遍历字典, 分别打印key, value, key:value
  19. QQ自动发送+@好友功能+tencent://功能
  20. JS模拟Dictionary

热门文章

  1. C#LeetCode刷题之#551-学生出勤纪录 I​​​​​​​(Student Attendance Record I)
  2. LeetCode 873. 最长的斐波那契子序列的长度 题目详解
  3. 使用 .NET Core 3.x 构建 RESTFUL Api (续)
  4. JNDI和连接池的配置
  5. Android 本地缓存Acache的简单使用
  6. 边缘计算、区块链、5G,哪个能走的更远
  7. markdown插入表情
  8. python基础 Day9
  9. 原生js实现 vue的数据双向绑定
  10. 2019年达内云PS淘宝美工平面UI/UX/UE/UED影视后期交互设计师视频