spark or sparkstreaming的内存泄露问题?
2024-10-20 00:45:19
关于sparkstreaming的无法正常产生数据---->到崩溃---->到数据读写极为缓慢(或块丢失?)问题
前两阶段请看我的博客:https://www.cnblogs.com/wang-jia-hong/p/10189513.html
那么我来分享下我对streaming数据读写突然变的极为缓慢的问题的解决方法
我们的线上的streming程序一个月会有3-4次的崩溃,在经历这次的崩溃后,我感觉问题有可能出在spark的driver内存泄露了.目前我调整了driver的内存大小,从2G调整到了3G
然后读写恢复正常
然后为了证实是否是此问题,我预先收集了相关的spark的driver的内存泄露解决方案 如下
以上的解决方案如下↓
_____________________________________________________________________________________________________________
其他的请看相关原作者链接 : https://blog.csdn.net/qq_33160722/article/details/54092560
然后我查看了下我的sparkstreaming的GC情况
!!!!年轻带GC并没有增长!!难道并不是内存泄露问题吗???要是这样我估计得要改掉我的博客标题咯?
于是继续查看...
最新文章
- eclipse代码自动补全[转]
- css制作三角形
- (转)RabbitMQ消息队列（一）: Detailed Introduction 详细介绍
- BNU 51275 道路修建 Large 并查集
- Android SDK目录结构和工具介绍
- 三．GC相关之三分钟认识GC算法
- 自动类型安全的.NET标准REST库refit
- 使用go reflect实现一套简易的rpc框架
- web框架---django
- 初识node.js（通过npm下载项目依赖的包的过程）
- C#6.0语言规范(十四) 枚举
- [Canvas]越来越近的女孩
- 为什么我的电脑win系统没有便笺功能？为什么我在开始菜单里找不到便笺功能？
- CTC+pytorch编译配置warp-CTC
- linux常用命令解析
- TDR，阻抗匹配，反射，源端匹配，终端匹配
- Sql server注入简单认识
- 计算器软件实现系列（七）WPF+SQL+策略模式
- jackson 进行json与java对象转换 之四
- 表单enctype属性