基于spark的用户程序，包含了一个driver program和集群中多个executor

 driver和executor存在心跳机制确保存活
3 --conf spark.executor.instances=5 --conf spark.executor.cores=8 --conf spark.executor.memory=80G

 弹性分布式数据集

 只读的、分区(partition)记录的集合

 初代rdd处于血统的顶层，记录任务所需的数据的分区信息，每个分区数据的读取方法

 子代rdd不真正的存储信息，只记录血统信息

 真正的数据读取，应该是task具体被执行的时候，触发action操作的时候才发生的

 分为transformation和action

 transformation: map filter flatMap union groupByKey reduceByKey sortByKey join

 action: reduce collect count first saveAsTextFile countByKey foreach

 rdd存储机制类似hdfs，分布式存储

 hdfs被切分成多个block（默认128M）进行存储，rdd被切分为多个partition进行存储

 不同的partition可能在不同的节点上

 再spark读取hdfs的场景下，spark把hdfs的block读到内存就会抽象为spark的partition

 将RDD持久化到hdfs上，RDD的每个partition就会存成一个文件，如果文件小于128M，就可以理解为一个partition对应hdfs的一个block。反之，如果大于128M，就会被且分为多个block，这样，一个partition就会对应多个block。

 一个action算子触发一个job

 一个job中有好多的task，task是执行job的逻辑单元（猜测是根据partition划分任务）

 一个job根据是否有shuffle发生可以分为好多的stage

 rdd中的依赖关系（血统）分为宽依赖和窄依赖

 窄依赖：父RDD的一个分区只被一个子RDD的分区使用，不产生shuffle，即父子关系为“一对一”或者“多对一”

 宽依赖：产生shuffle，父子关系为“一对多”或者“多对多”

 spark根据rdd之间的依赖关系形成DAG有向无环图，DAG提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是rdd之间的宽窄依赖

 遇到宽依赖就划分stage

 每个stage包含一个或多个task任务

 这些task以taskSet的形式提交给TaskScheduler运行

 stage是由一组并行的task组成

 stage切割规则：从后往前，遇到宽依赖就切割stage。
10 一个stage以外部文件或者shuffle结果作为开始，以产生shuffle或者生成最终结果时结束
11 猜测stage与TaskSet为一一对应的关系

 分为两种：shuffleMapTask和resultTask

2 默认按照partition进行拆分task

 --conf spark.default.parallelism=1000 设置task并行的数量

 个人理解以上各种概念都是抽象概念，即简单的理解为全部发生在driver端，只有task相关的信息会被序列化发送到executor去执行