一个获取供应商余额的项目中,使用了 selenium 来爬虫,原因是获取余额不用太频繁,对性能要求不高。第二是 selenium 更好应对各种页面。
项目中,selenium webdriver使用了全局变量,因为
  1. 想要避免重复打开、关闭 phantomJS 带来的损耗。(这个损耗到底有多大?)如果是 requests,我就是局部变量,觉得损耗不打,也更加灵活。引申出一个问题,如何 benchmark,应该是根据 benchmark来,而不仅仅是`感觉`。
  2. cookie 不用手动干预
遇到的问题
  1. celery 关闭不了 phantomJS,我现在是每次启动程序的时候,先杀死运行用户账户下所有的 `phantomJS` 。如果有其他程序也用到这个,就会对别人造成问题

最新文章

  1. mac上设置新版chrome浏览器跨域
  2. 如何查看bash shell 帮助信息?
  3. Linq语法详细
  4. Asp.net导出Excel(HTML输出方法)
  5. 大数据热点问题TOP K
  6. 如何将一个对象存到网页中并在js中使用
  7. SPSS数据分析—多重线性回归
  8. 【mysql】使用脚本对mysql状态进行监控
  9. mysql常用脚本
  10. JAVA WEB项目中使用并改造editor.md实现Markdown编辑器
  11. java集合总结
  12. 使用AppDelegate单例,解决子视图无法给父视图发送消息的问题
  13. BOM(2)
  14. [react 基础篇]——React.createClass()方法同时创建多个组件类
  15. AutoCAD 2019 for Mac 特别版(附注册机)
  16. go os/exec执行外部程序
  17. [Oracle][OnlineREDO]数据库无法启动时的对应策略:
  18. 酷开 5.5 版本安装第三方app
  19. Oracle的基本语法,存储函数及触发器
  20. Centos 安装 erlang 环境

热门文章

  1. Hibernate @OneToMany等注解设置查询过滤条件等
  2. Netty(四)分隔符与定长解码器的使用
  3. webpack继续
  4. Android 源码解析之AsyncTask
  5. Android-正方形的容器
  6. AFNetWorking https请求 SSL认证 自制证书
  7. JS/JQuery针对不同类型元素的操作(radio、select、checkbox)
  8. ComboBox(下拉列表框)实现省、市、县三级联动,用hibernate连接数据库
  9. 记录sql语句的执行记录,用于分析
  10. 大型web系统数据缓存设计