Hadoop 开源调度系统zeus(二)
2024-08-26 07:03:46
本节主要介绍一下zeus的架构：
先给一个zeus的架构图
无论Master还是Worker都有一套WEB UI，无论从哪个上面去看，看到的结果都是一样的，实际上一般仅仅看主
Master：调度内核，在启动时启动一个TCP服务，同一时候将全部任务读到内存中，在任务能够运行时，加到运行队列，下发到client
Worker：启动后连接Master，并定时向Master发送心跳，当收到Master的任务后，封装任务运行shell，并将任务运行结果通知给Master
Master单点：在zeus中，整个机器的每一个节点都有可能成为Master,整个集群是通过一把分布式锁来唯一确定Master，Master在获得分布式锁后，会定时更新分布式锁状态，全部的Worker都会检查分布式锁状态，假设发现Master未按时更新锁状态，则各个Worker竞争获得该锁，获得锁后，使自己成为Master。
未能获得锁的Worker会将自己正在运行的任务杀死，然后又一次连接新的Master，Master会将之前正在运行的Job又一次下发给Worker
最新文章
- Backbone.js应用基础
- 使用openssl的一些问题
- Qt MainWindow结构
- GJM : 【C# 高性能服务器】完成端口、心跳的高性能Socket服务器 [转载]
- ITEM M6 自增（INCREMENT）、自减（DECREMENT）操作符前缀形式与后缀形式的区别
- java.lang.ClassNotFoundException: org.junit.Assume$AssumptionViolatedException
- asp.net 后台实现删除，划掉效果
- Swift Tour 随笔总结 (4)
- tomecat 配置修改 及启动配置
- oracle开启numa的支持
- Performing Post-Build Event之类的编译错误
- 中国 AI 天才养成计划：清华姚班和 100 个「张小龙」
- echarts相关的可视化数据
- MySQL - exists与in的用法
- Java实现模拟登录新浪微博
- swift 错误集锦
- LINUX监控一：监控命令
- 为WebBrowser指定IE内核版本（MSIE 7.0）
- Codeforces-D-Diverse Garland（思维）
- 转换 nvarchar 值 '2013071200000578' 时溢出了整数列