SPARK 学习笔记一

1、Spark基于内存进行运算

2、Spark核心是SprintContext，是程序的入口

3、RDDs是提供抽象的数据集，通过RDDS可以方便对分布在各个节点的数据进行计算，而且忽略细节

4、RDDs与Stream API

5、RDDs采用类似延时加载，计算功能

6、RDDs的combineByKey函数是一个较核心的函数：如下

def combineByKey[C](
      createCombiner: V => C,
      mergeValue: (C, V) => C,
      mergeCombiners: (C, C) => C,
      partitioner: Partitioner,
      mapSideCombine: Boolean = true,
      serializer: Serializer = null)

巴特西

SPARK 学习笔记一

最新文章

热门文章