爬虫之selenium 安装与 chromedriver安装

今天学到一个有意思的插件,就是chromedriver,在爬虫的时候,如果网站反爬虫做的很好,自己又很想爬去里面的数据,那就可以用这个插件,虽然笨笨的,慢的一批,但是还有别的办法就不会用他啦,

这个东东主要是完全模拟浏览器点击页面,一步一步去找你要的东西,就跟个机器一样,不停的去执行命令

进入正题

你要确保自己有谷歌浏览器,要知道版本号,找到对应的chromedriver版本号,还要有selenium模块

使用:

直接使用pip安装

1 pip install selenium

用 Chrome 浏览器来测试

1 from selenium import webdriver
2
3 browser = webdriver.Chrome()
4 browser.get('http://www.baidu.com/')

运行这段代码,会自动打开浏览器,然后访问百度。

如果程序执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动,然后将驱动文件路径配置在环境变量即可。

首先你需要一张对照表

chromedriver版本 支持的Chrome版本
v2.41 v67-69
v2.40 v66-68
v2.39 v66-68
v2.38 v65-67
v2.37 v64-66
v2.36 v63-65
v2.35 v62-64
v2.34 v61-63
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32

linux 安装

chromedriver:

    将下载的文件移动到软件应该呆的目录去:

    sudo mv chromedriver  /usr/local/bin/chromedriver

    改变用户执行的权限:

    sudo chmod u+x,o+x   /usr/local/bin/chromedriver

    检验是否正常使用:

    chromedriver --version

展示如下就是成功啦,linux 安装还是很简单的,用起来也方便,入文章开头运行下,就知道啦

window安装

下载后将文件解压到python安装路径下的/Script目录下,该文件是一个.exe的文件,Script目录必须配置为系统的环境变量

如果再不会,百度上太多啦,我就不赘述了

之后会自己用一用,感觉挺好玩 的

最新文章

  1. IT
  2. simple_html_dom配合snoopy使用
  3. WCF中因序列化问题引起的异常和错误。
  4. Enum:Hopscotch(POJ 3050)
  5. (10.09作业)学生选课数据库SQL语句练习题
  6. WITH AS and materialize hints
  7. 转:C# 中的委托和事件
  8. Python爬行动物(一):基本概念
  9. thrift安装笔记
  10. Nmap原理-01选项介绍
  11. JS基础--函数与BOM、DOM操作、JS中的事件以及内置对象
  12. iptables转发备忘
  13. 13 在 Django REST framework 善用 SerializerMethodField方法
  14. 最大似然估计与期望最大化(EM)算法
  15. 关于Java 去除空格,换行的代码
  16. ansible笔记(5):常用模块之文件操作(二)
  17. docker端口映射启动报错Error response from daemon: driver failed programming external connectivity on endpoint jms_guacamole
  18. 第 4 章 用 HTML5 建立超链接
  19. asp.net MVC之Result过滤器浅析
  20. 关于Java代码优化的44条建议!

热门文章

  1. C++入门经典-例6.1-一维数组元素
  2. vue项目使用cropperjs制作图片剪裁,压缩组件
  3. python3笔记五:while语句
  4. java工程打成jar包 - 使用maven assembly插件打包及手动打包
  5. leetcode 140 单词拆分2 word break II
  6. ListView 中图片错位的问题是如何产生的?
  7. 三十六:数据库之SQLAlchemy外建之一对一关系
  8. Unity3D 打包成Exe文件
  9. Redis 下载与配置window服务
  10. kali安装redis