正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
2024-08-25 11:46:48
昨天在项目中需要对日志的查询结果进行导出功能。
日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。
之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。
那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。
看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。
首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说MySQL不支持游标功能等等。
后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。
我的设置如下
- ps=conn.con.prepareStatement("select * from bigTable");
- ps.setFetchSize(1000);
后来在MySQL看到了这样的方法:
- ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
- ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
- ps.setFetchSize(Integer.MIN_VALUE);
- ps.setFetchDirection(ResultSet.FETCH_REVERSE);
最新文章
- jquery打印特定div
- XML文件的读写
- Laravel 安装predis 扩展
- Php最近1个月总结
- STC51系列单片机免掉电下载(热启动下载)
- 关于url路径的定义方式
- Samba在CentOS下的图形化界面的安装
- Eclipse Tips
- JS获取渲染后的样式
- iOS开发 - Swift使用GCD实现计时器功能
- EVA 4400存储硬盘故障数据恢复方案和数据恢复过程
- JFinal框架
- CF101D Castle
- 转:Java对象序列化
- 从零开始写一个发送h264的rtsp服务器(上)
- BZOJ 50题纪念?
- DevExpress添加Winform窗体到DockPanel
- Android-工作总结-LX-2018-08-20-判断数据库表字段是否为空
- 工具 | Axure基础操作 No.3
- asp.net web系统开发浏览器和前端工具
热门文章
- LINQ体验(7)——LINQ to SQL语句之Group By/Having和Exists/In/Any/All/Contains
- UVA-11462 (计数排序)
- AutoIt获取Gridview中可以修改列的值
- @font-face 用fontsquirrel把ttf文件获取别的文件格式
- Eclipse安装配置Maven
- python学习笔记3-循环1
- 1-1 课程导学 &; 1-2 项目需求分析,技术分解.
- 任务39:Role以及Claims授权
- vector理解一波~~~
- bzoj 3160: 万径人踪灭【FFT+manacher】