对Spark2.2.0文档的学习1-Cluster Mode Overview
2024-08-28 18:53:00
Cluster Mode Overview
Link:http://spark.apache.org/docs/2.2.0/cluster-overview.html
Spark应用(Applications)作为独立的进程运行在集群中。
Driver程序中持有SparkContext对象,集群中运行Spark应用的步骤:
(1)SparkContext连接Cluster Manager(Spark自己的Standalone cluster manager,Mesos,YARN,Kubernetes since 2.3),集群管理器的作用是为不同应用分配资源。
(2)连接到CM之后,Spark请求集群节点中的executors,executors为应用进行计算和存储数据
(3)将应用的代码(JAR或者Python文件)传递给SparkContext,SparkContext将应用的代码传递给executors
(4)SparkContext将Tasks发送给executors执行。
Note:
(1)各个Spark应用有自己独立的执行执行进程(executor processes),因此不把数据写回外部存储,各个Spark应用(instances of SparkContext)无法共享数据.
(2)Spark is agnostic to the underlying cluster manager.
(3)Driver程序在整个生命周期都要监听并接受它的executors的连接。
(4)Driver运行的节点应该尽可能与worker节点物理上接近。
最新文章
- ProtocolBuffers-3 For Objective C (1)-简单的使用
- ABAP 弹出对话框
- java 压缩文件 传入文件数组,压缩文件,在指定路径下生成指定文件名的压缩文件
- 2013MPD上海6.22 PM 陆宏杰:通往卓越管理的阶梯 &; 6.23AM Ray Zhang 产品创新管理的十八般武艺
- docker-compose bug
- 添加MIME类型
- 前端框架之bootstrap
- vue搭建项目前奏曲——vue-cli
- jquery实现简单的搜索
- java基础系列--volatile关键字
- 6J - 盐水的故事
- LSApplicationQueriesSchemes--关于info.plist 第三方登录 添加URL Schemes白名单
- 内存共享【Delphi版】
- 对package.json的理解和学习
- Freemaker如何遍历key为non-string类型的map?
- Django学习---路由url,视图,模板,orm操作
- java状态模式
- SQL Server 隐式转换引发的死锁
- 01_Jdk自带SPI
- SQL DATEDIFF语法及时间函数 Sql 查询当天、本周、本月记录
热门文章
- 【一】H.264/MPEG-4 Part 10 White Paper 翻译之 Overview of H.264
- Qt-QMl-自定义自己想要的TabView
- Selenium2+python自动化-文件上传
- join 中的on和where的区别
- Python基础灬列表&;字典生成式
- 译 - Cassandra 数据建模的基本规则
- JVM监控及堆栈内存
- We are writing to let you know we have removed your selling privileges
- 梯度下降算法以及其Python实现
- ES6的新特性(18)——async 函数