RDD算子、RDD依赖关系
2024-08-29 09:39:37
RDD：弹性分布式数据集， 是分布式内存的一个抽象概念
RDD：1.一个分区的集合，
2.是计算每个分区的函数 ，
3.RDD之间有依赖关系
4.一个对于key-value的RDD的Partitioner
5.一个存储存取每个Partition的优先位置的列表
RDD算子：
Transformations：不会立即执行，只是记录这些操作
Actions：计算只有在action被提交的时候才被触发。
RDD依赖关系：
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition
最新文章
- 安装MySql for Visual Studio的坑
- react+redux官方实例TODO从最简单的入门（1）-- 前言
- Python入门笔记(8):列表
- Spring-MVC流程图
- BZOJ2783: [JLOI2012]树
- ViewData ViewBag TempData
- LINQ标准查询操作符(四) —AsEnumerable,Cast,OfType,ToArray,ToDictionary,ToList,ToLookup,First,Last,ElementAt
- Java设计模式01：设计模式的 分类 和 设计原则
- PHP安全编程：网站安全设计的一些原则(转)
- j2ee开源项目——IT学习者博客(itxxzblog v1.0)
- csdn博客被一个无名网站套用，不知大家是否也是这样？
- php操作xml并插入到数据库中
- MyBatis之简单了解Plugin
- 在centos7上实现LAMP的全过程及实现wordpress
- eclipse工具按键翻译
- DEBUG经历
- Maven集成SSM
- linux下批量杀死进程
- webkit下面的CSS设置滚动条
- Oracle exp/imp 导出/导入