Hadoop分布式资源管理器Yarn、MR运行机制剖析
2024-08-30 23:10:37
介绍YARN组件的功能及应用场景
1、ResourceManager（RM）
RM是一个全局的资源管理器，集群中只有一个。它负责整个Hadoop系统的资源管理和分配，包括处理客户端请求、启动监控 ApplicationMaster、监控NodeManager、
资源的分配与调度等。它主要由两个组件构成，即调度器（Scheduler）和应用程序管理器（ApplicationMaster,ASM）
Scheduler 是一个集群资源调度器，根据集群的容量、队列等限制条件，将集群中的资源分配给各个正在运行的应用程序，以保障整个集群高效、合理的使用资源。
需要注意的是：Scheduler是一个纯粹的资源调度器，它只负责调度Containers，不用关心任何与具体应用相关的工作。例如，他不会监控或者跟踪应用的执行状态，
也不会去重启因程序失败或者其他错误而运行失败的任务。调度器仅根据每个应用程序的资源需求进行合理分配，而资源分配的单位用Container（容器）表示。
Container是一个动态资源分配单位，他将CPU和内存封装起来，从而限定每个任务使用的资源量。
最新文章
- throttle和debounce简单实现
- easyui-conbotree树形下拉框。。。转
- Linux 信号详解一（signal函数）
- Eclipse调试常用技巧(转)
- laravel 笔记
- IOS设备启动图像命名规范
- struts2 type="redirect"源码解析
- ListView 长按拖动会变黑的解决方案
- [转]把项目从VS2005升级到VS2013
- oracle 序列
- Linux学习之tail命令
- POJ 2823 Sliding Window 【单调队列】
- [Android学习]Activity之间传递对象和对象集合
- TIJ学习总结（1）- Java基础语法
- MySQL系列详解二：MySQL语句操作-技术流ken
- [翻译]EntityFramework Core 2.2 发布
- scrapy shell的作用
- Android 从相机或相册或获取图片（转）
- Redis基本数据类型命令汇总
- ThinkPHP3.2设置异常页面404跳转页面