最近在爬某个网站，发现这个网站的反爬太厉害了，正常时候的访问有时候都会给你弹出来验证，验证你是不是蜘蛛，而且requests发的请求携带了请求头信息，cookie信息，代理ip，也能识别是爬虫，他应该是有个ssl证书的机制，即使你关闭了也能检测到，好厉害，所以我就想着双管齐下，你跳出来是验证我就selenium做验证拿数据，你要是requests能请求到我就requests。

但是selenium也得使用代理ip，要不还不是得把你ip给你封了。从网上找了些，但是代理拿下来发现不能用，我在本地设置好的代理ip可以用，加到option参数中就不行，下面看代码

from selenium import webdriver

from selenium.webdriver import ChromeOptions

option = ChromeOptions()

ip = 'ip:port'

option.add_argument(('--proxy-server=' + ip))#有的博客写的是'--proxy-server=http://'，就目前我的电脑来看的话需要把http://去掉就可以用，他会自己加的

driver = webdriver.Chrome(options=option)

driver.get(url='https://www.baidu.com/s?wd=ip')

最新文章

  1. linker command failed with exit code 1 (use -v to see invocation)解决办法
  2. Gym 100851K
  3. leetcode 94 Binary Tree Inorder Traversal ----- java
  4. jQuery滚动时动态加载页面内容
  5. TOMCAT之性能跟踪入门
  6. BZOJ 2096([Poi2010]Pilots-单调队列-差值)
  7. js Get中文乱码 转码
  8. 获取经纬度 CLLocation
  9. Flink重启策略
  10. C#工具:反射帮助类 泛型反射帮助类
  11. 防盗链之URL参数签名
  12. JSP 修改不能编辑
  13. SQL内外连
  14. c语言中如何通过二级指针来操作二维数组
  15. Tomcat、Apache、IIS这三种Web服务器来讲述3种搭建JSP运行环境的方法
  16. 修改数据库的instance_name和db_name
  17. What Shape Layers Are-CAShapeLayer
  18. 深入理解java虚拟机-第七章
  19. fpga中wire和reg的区别
  20. P3369 【模板】普通平衡树（权值线段树）

热门文章

  1. 上传jar包到nexus
  2. cookie实现访问时间查看
  3. Java编码的问题
  4. 1TB是多大？
  5. centos 搭建jenkins+git+maven
  6. 在ES5中模拟类
  7. Promise.resolve( data)与Promise.reject( data )
  8. Linux中MySQL的安装以及卸载
  9. vue3 项目 用 vue-video-player 做直播 （ 亲测可用 ）
  10. JAVA 之 每日一记 之 算法（ 给定一个正整数，返回它在 Excel 表中相对应的列名称。 ）