Spark内核-Spark Shuffle 解析
2024-10-20 16:52:09
作者：十一喵先森
链接：https://juejin.im/post/5e1c41c6f265da3e152d1e62
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
对上文的总结.
Shuffle 的核心要点
什么是shuffle?
需要统筹全局的算子,sort就是一个shuffle算子.
什么是stage
以shuffle算子为届,例如,sort前面一部分是一个stage,sort后面是一个stage.
ShuffleMapStage与ResultStage
ShuffleMapStage : sort前面的就是.
ResultStage: sort后面的部分就是.
ShuffleRead阶段和ShuffleWrite阶段
一个shuffle分为ShuffleRead阶段和ShuffleWrite阶段阶段,
一个是读数据,一个是写数据.
最新文章
- MVVM框架从WPF移植到UWP遇到的问题和解决方法
- LINUX的磁盘管理du命令详解
- 虚拟机安装 Centos6
- 我的第一个jsp程序-实现注册登录留言功能
- java-类
- Zip it
- ListView去除顶部和底部边缘阴影（亲测4.4及以前的版本都适用）
- HDU 5422 Rikka with Graph
- C++ 单链表基本操作
- css考核点整理（十二）-能描述下你在项目中都用到了哪些符合逐渐增强和优雅降级的理念的技巧吗
- 前端--关于css选择器
- HDU 11488 Hyper Prefix Sets （字符串-Trie树）
- Html5语义化标签详解及其兼容性处理
- 一步步带你做vue后台管理框架(一)——介绍框架
- java（一） 基础部分
- canvas学习之饼状图
- python第一天 计算机基础
- Git实用教程
- hdu 4325 Flowers（区间离散化）
- jquery uploadify文件上传插件用法精析