spark在collect收集数据的时候出现outOfMemoryError:java heap space
2024-09-01 04:06:01
spark的collect是action算子，所有最后会以数组的形式返回给driver端，当数据太大的时候就会出现堆内存溢出。OutofMemoryError:java heap space。
在spark中默认的数据的存储是1G的大小，spark.default.memory(default 1G)
解决方案：以saveAsTextFile算子将收集到的数据在文本的形式收集到本地磁盘或hdf文件系统。
最新文章
- python基础(二)
- 内存和flash存储的区别
- atitit.插件体系设计总结o73.doc
- FPGA speed grade
- Sqoop的使用（Mysql To HBase）
- 创建并使用Windows Azure虚拟机模板
- VS2010 error C2664: “CWnd::MessageBoxW”: 不能将参数 1 从“const char [3]”转换为“LPCTSTR”
- JAVA中字符串比較equals()和equalsIgnoreCase()的差别
- 反编译app方法
- AOP：代理思想 （没有考虑到Spring）
- Abp(.NetCore)开发与发布过程
- 【网络爬虫入门02】HTTP客户端库Requests的基本原理与基础应用
- git基本概念
- makefile笔记6 - makefile条件判断
- HTML5效果：实现树叶飘落
- SCP传送文件时提示No ECDSA host key is known forx.x.x.x and you have requested strict checking.问题的解决办法
- Python基础(十一) 类继承
- jQuery层级选择器
- MySQL MHA 搭建&测试（环境：CentOS7 + MySQL5.7.23）
- Numpy：索引与切片