sparkContext初始化机制
2024-09-04 19:23:46
sparkContext初始化机制
要点：
1、TaskSchedular如何注册，application、Excutor 如何反向注册
TaskScheduleImpl 即 TaskSchedular， SparkDestroySchedularBackend底层接收TaskScheduleImpl 的控制，实际上负责Master的注册、Excutor的反注册，task发送到Excutor的个操作， TaskScheduleImpl 的底层实际上主要基于 SparkDestroySchedularBackend 来操作
2、DAGSchedular
DAGSchedular 底层主要基于组件DAGSchedularEventProcessActor 进行通信（线程）
3、SparkUI
4040端口，显示application运行状态，启动一个 jetty 服务器，来提供web 服务，显示网页
sparkContext初始化机制如下图所示
最新文章
- K3安装记录
- C++ 简单 Hash容器的实现
- 服务调用方案(Spring Http Invoker) - 我们到底能走多远系列(40)
- 使用matplotlib绘制带图例的图表
- matlab学习笔记(一）单元数组
- pc机安装centos6.5，提示sda必须有一个GPT磁盘标签处理
- sql语句select group by order by where一般先后顺序 转载
- winutils spark windows installation
- (中等) HDU 5046 Airport ，DLX+可重复覆盖+二分。
- 【BZOJ2882】工艺（后缀自动机）
- String内存分配
- 中介者模式 调停者 Mediator 行为型 设计模式（二十一）
- 网络编程-Socket介绍
- [TensorFlow笔记乱锅炖] tf.multinomial(logits, num_samples)使用方法
- 操作系统介绍-操作系统历史,IO,进程的三态,同步异步阻塞非阻塞
- tensorflow 优化图
- Javascript 计算字符串所占字节数
- Apache中的Order Allow,Deny用法详解
- Docker 学习应用篇之二： Docker的介绍和安装
- c# 公共方法