不多说，直接上干货！

Spark基本运行流程

　　Application program的组成

　　　　　　

Job ： 包含多个Task 组成的并行计算，跟Spark action对应。

Stage ： Job 的调度单位，对应于TaskSet 。

TaskSet ：一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。

Task ： 被送到某个executor 上的工作单元

Spark 运行流程概述

　　　　　　　　　　　　

 Spark具体流程(以standalone模式为例)

　　　　　　　　　　

最新文章

  1. JAVA常见面试题之Forward和Redirect的区别
  2. lnmp+phpmyadmin配置与出现问题
  3. 倍增 LCA
  4. 关于List泛型的强制转换
  5. jQuery两个列表中元素相互交换Demo
  6. uva 10330 最大流
  7. Controller中利用RedirectToRoute重定向的问题
  8. 要注意null合并运算符的优先级比+还要低
  9. Java 8 新特性概述
  10. LeetCode_Triangle
  11. POJ 1182 ：食物链（并查集）
  12. Linux网络编程(二)
  13. 服务器 设置 将 Tomcat 注册 到系统服务 及使用方法
  14. Java经典编程题50道之四十二
  15. 浅谈机器人控制与仿真设计----RDS和ROS
  16. SQL Server 创建跨库查詢、修改、增加、删除
  17. 浅谈JavaScript之事件(上)
  18. ABP默认生成数据库结构
  19. Linux tar 解压 压缩(转)
  20. ios真机调试错误解决:Installation of apps is prohibited by a policy on the device

热门文章

  1. 【PYTHON】编码是个细致活
  2. C# 遍历对象下的 属性
  3. Js中的4个事件
  4. 如何构建和设计以确保 API 的安全性
  5. VS2013 opencv 无法删除“继承的值”问题解决方案
  6. 数据结构(1) 第一天 算法时间复杂度、线性表介绍、动态数组搭建(仿Vector)、单向链表搭建、企业链表思路
  7. WEBGL学习【三】颜色选择
  8. Linux学习二：基于CentOS 6.5的网络配置
  9. 记一次生产主机中挖矿病毒"kintegrityds"处理过程！
  10. 【Codeforces Round #507 (Div. 2, based on Olympiad of Metropolises) B】Shashlik Cooking