MapReduce1.x与MapReduce2.x差异
一.MapReduce1.x简介
1.图解
2.JobTracker
主节点,单点,负责调度所有的作用和监控整个集群的资源负载。
3.TaskTracker
从节点,自身节点资源管理和JobTracker进行心跳联系,汇报资源和获取task。
4.Client
以作业为单位,规划作业计算分布,提交作业资源到HDFS,最终提交作业到JobTracker。
二.MapReduce1.x的弊端
1.JobTracker负载过重,存在单点故障。
2.资源管理和计算调度强耦合,其它计算框架难以复用其资源管理。
3.不同框架对资源不能全局管理。
三.Hadoop2.x简介【基于YARN】
1.图解
2.ResourceManager
主节点,负责整个集群的资源管理。
3.NodeManager
与ResourceManager汇报资源,管理Container生命周期,计算框架中的角色都以Container表示。
4.Container
默认NodeManager启动线程监控Container大小,超出申请资源额度会kill掉。支持Linux内核的Cgroup。
5.Client
ResourceManager-client:请求资源创建ApplicationMaster-client。
ApplicationMaster-client:与ApplicationMaster交互。
四.YARN
YARN【Yet Another Resource Negotiator】:Hadoop 2.0新引入的资源管理系统,直接从MRv1演化而来的。
核心思想:将MRv1中JobTracker的资源管理和任务调度两个功能分开,分别由ResourceManager和ApplicationMaster进程实现:
1.ResourceManager:负责整个集群的资源管理和调度。
2.ApplicationMaster:负责应用程序相关的事务,比如任务调度、任务监控和容错等。
YARN的引入,使得多个计算框架可运行在一个集群中 每个应用程序对应一个ApplicationMaster 目前多个计算框架可以运行在YARN上,比如MapReduce、Spark、Storm等。
最新文章
- 微信硬件H5面板开发(一) ---- 调用openApi
- HDU 2669
- HTTP POST GET 本质区别详解
- canvas实现绘画
- 使用XmlInclude解决WebService调用时无法识别子类的异常
- C# 多线程详解
- C51变量的存储
- Android之用PopupWindow实现弹出listview形式菜单
- [自制操作系统] 连续页分配释放&kmalloc/kfree
- IIS部署Angular2
- 一文读懂PRBS定义、生成办法、作用
- 单点登录(SSO)原理与案例
- 深入浅出RxJava(三:响应式的好处)
- JAVA链表中迭代器的实现
- 浅谈教你如何掌握Linux系统
- SSD win7优化步骤
- 20170714xlVba多个工作簿转多个Word文档表格
- interrupt和isInterrupted的基本使用方法
- Arcgis Javascript API 开发笔记
- 1048 Find Coins
热门文章
- kotlin基础 空值检查
- EasyDSS高性能RTMP、HLS(m3u8)、HTTP-FLV、RTSP流媒体服务器解决方案之CDN内容分发网络
- ThinkPHP 中入口文件中的APP_DEBUG为TRUE时不报错,改为FALSE时报错
- Python的Colorama模块
- [PHP] Laravel 体现 MySQL、Sqlite 数据的大小写敏感
- XLNet and Robertra
- Python3 - 数字类型
- *** WARNING L16: UNCALLED SEGMENT, IGNORED FOR OVERLAY PROCESS
- pytest_pytest-html生成html报告
- pytest_06_fixture之yield实现teardown