Spark分析之Worker
2024-08-26 00:52:24
override def preStart() {
webUi = new WorkerWebUI(this, workDir, Some(webUiPort))
webUi.bind() //创建并绑定UI
registerWithMaster() //注册到Master
}
def tryRegisterAllMasters() {
for (masterUrl <- masterUrls) {
logInfo("Connecting to master " + masterUrl + "...")
val actor = context.actorSelection(Master.toAkkaUrl(masterUrl))
actor ! RegisterWorker(workerId, host, port, cores, memory, webUi.boundPort, publicAddress)
}
}
Worker的主要功能：
1、向master注册
2、处理事件
RegisteredWorker/RegisterWorkerFailed
LaunchExecutor/ExecutorStateChanged/KillExecutor
LaunchDriver/KillDriver
WorkDirCleanup/MasterChanged/Heartbeat/DriverStateChanged/RequestWorkerState
最新文章
- DB2 Enterprise Server Edition（DB2 ESE）9.1在Windows Server 2008 下出现无法新建数据库的情况，及解决办法
- sdutoj 2605 A^X mod P
- C++获取鼠标位置及全局检测鼠标行为
- Leetcode: Convert a Number to Hexadecimal
- .NET清楚Cookies
- 使用 cloc 统计代码行数
- 读者汇app项目案例源码
- 『重构--改善既有代码的设计』读书笔记----Change Value to Reference
- HTML5游戏开发引擎Pixi.js完全入门手册（二）元素对象属性解析
- java基础：数组查询，同一数组一个元素最多出现两次
- java对excel表格的上传和下载处理
- [LeetCode] Max Chunks To Make Sorted 可排序的最大块数
- mysql字符集，insert,update,delete,select
- Mybatis框架基础支持层——日志模块（8）
- 性能测试—JMeter 常用元件（四）
- java线程池如何合理的设置大小
- SpringMVC框架08——统一异常处理
- es fielddata理解
- c#基础学习(0628)之使用进程打开指定的文件、模拟磁盘打开文件
- Android开发8——利用pull解析器读写XML文件