Htmlunit 设置缓存文件
2024-09-03 19:46:07
起因:最近用Htmlunit爬取网页。demo运行起来后,发现速度相当慢,一直在不停的加载js文件,偶尔还会报错,js超时等。抓包工具看了一下请求,发现一直在不停的下载js文件。按理说请求过js文件后,本地是会缓存这些文件的。避免再次从服务器下载,增加服务器压力和降低客户端页面加载速度。由此便开始大量的百度,寻求解决方案。一番操作下来,千篇一律的配置文章看了几十个,但是还是没解决问题。无奈只能沉下气来,从新审视代码。
没想到回来看代码,很快便发现WebClient有一个Cache属性,默认size为40。立即debug一下, 发现其实Cache是有存储文件的。那么很明显是请求的js太多了,设置size到合适的数值,重新debug,速度瞬间上来了,js也缓存上了。贴上配置代码:
webClient.getOptions().setActiveXNative(false);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setRedirectEnabled(true);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setDoNotTrackEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCache().setMaxSize(100);
若爬取的页面不需要渲染js,可以直接设置如下:
webClient.getOptions().setJavaScriptEnabled(false);
直接禁用js。
最新文章
- Bundle包的制作与使用
- java 接口的作用和好处
- Nginx重写
- 单例模式singleton
- Linux系统如何查看CPU型号等
- Sqli-labs less 54
- JButton 做图片框
- Repeater的ItemCommand事件和ItemCreated事件,高手请跳过~
- [动态规划]P1220 关路灯
- 找出共同好友 - 数据挖掘 - Scala版
- 游戏AI-行为树理论及实现
- 简单导出下载excel的方法
- Java 技术笔记
- Angular cli 发布自定义组件
- python持久化
- js修改样式
- GridEh 当前行
- Ice简介+Qt代码示例
- Shell基础学习(一) Shell简介
- 使用rman备份异机恢复数据库