Spark性能调优篇八之shuffle调优
2024-08-25 06:48:31
1 task的内存缓冲调节参数
2 reduce端聚合内存占比
spark.shuffle.file.buffer map task的内存缓冲调节参数,默认是32kb
spark.shuffle.memoryFraction reduce端聚合内存占比,默认0.2
怎么判断在什么时候对这两个参数进行调整呢?
通过监控平台查看每个executor的task的shuffle write和shuffle read的运行次数,如果发现这个指标的运行次数比较多,那么就应该考虑这两个参数的调整了;这个参数调整有一个前提,spark.shuffle.file.buffer参数每次扩大一倍的方式进行调整,spark.shuffle.memoryFraction参数每次增加0.1进行调整。
shuffle产生大量文件
为了解决shuffle产生大量文件的问题,我们可以在map端输出的位置,将文件进行合并操作,即使用
spark.shuffle.consolidateFiles 参数来合并文件,具体的使用方式为
new SparkConf().set("spark.shuffle.consolidateFiles","true")
作者:z小赵
链接:https://www.jianshu.com/p/069c37aad295
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
最新文章
- MSP430F149学习之路——比较器Comparaor_A
- sendBroadcast 无法接收
- Omnithreadlibary学习(2)-IOmniTask异步执行
- winsocket <;研究了一天的成果>;
- Android应用程序窗口(Activity)的运行上下文环境(Context)的创建过程分析
- nodejs递归创建目录,同步和异步方法
- pl sql 无法解析指定的连接标识符
- php 实时汇率接口
- “psql: could not connect to server: Connection refused” Error when connecting to remote database
- 【社交系统ThinkSNS+研发日记三】基于 Laravel Route 的 ThinkSNS+ Component
- 学会C sharp计算机编程语言 轻松开发财务、统计软件
- 企业级Docker私有仓库部署(https)
- Flutter 即学即用系列博客——05 StatelessWidget vs StatefulWidget
- webpack vue-loader was used without the corresponding plugin. Make sure to include VueLoaderPlugin
- postgresql数据库和mysql数据库的对比分析
- js 奇偶判断
- cut语法
- JS传值中文乱码解决方案
- generator自动生成代码
- [DBSDFZOJ 多校联训] Password
热门文章
- 深度分析ReentrantLock源码及AQS源码,从入门到入坟,建议先收藏!
- MathType总结编辑括号的类型(中)
- CorelDRAW中的合并和群组功能
- 吉他指弹入门——贝斯(walking bass)
- 牛逼哄哄的PageHelper分页插件到底是怎么实现的?网友:给我10分钟,给你写一个~
- web文件上传漏洞
- P2887 [USACO07NOV]Sunscreen G
- Java集合【6.1】-- Collection接口源码详解
- 肝了75天,五万五千字,《Spring Boot 进阶》专栏文章整理成册,分享~
- Happy Tree Friends——团队展示