HBase、HDFS和MapReduce架构异同简解
2024-10-18 19:23:32
HBase、HDFS和MapReduce架构异同
| .. | HBase（公司架构模型） | HDFS2.0（公司架构模型） | MR2.0（公司架构模型） | MR1.0（公司架构模型） |
|---|---|---|---|---|
| 中央 | HMaster | NameNode(NN) | ResourceManger(RM) | JobTracker(JT) |
| 地方 | HRegionServer(HRS) | DataNode(DN) | NodeManager(NM) | TaskTracker(TT) |
| 监控协调者 | ZooKeeper | ZooKeeper | ZooKeeper | 无 |
| 是否有HA | HMaster-backups | NN（Standby） | RM（Standby） | 无，存在单点故障 |
| 故障转移方式 | 1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯 |
NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active） | RM直接与ZK直接通讯，谁先建立znode，则谁为active | 无，存在单点故障 |
| 地方故障谁负责恢复和转移 | HMaster | NameNode | ResourceManager | JobTracker |
| 中央与地方的通讯 | HRegionServer与ZK心跳，HMaster从ZK获取HRS状态 | DN周期性向NN汇报 | NM周期性向RM汇报 | TT周期性向JT汇报 |
| 中央的共同职责 | 1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配 |
|||
| 中央各特点 | 分配HRegionServer上的Region | 分配DN的block | 分配NM上container上的任务 | 分配TaskTracker上的task |
| 负载均衡 | HRS上region的负载均衡 | block的负载均衡 | ||
| 特点 | 1.Region的预分区、分裂和合并 2.Compaction机制 3.WAL机制 4.读写流程 |
1.副本策略 2.数据写入的副本管道传输机制 3.联邦制 |
1.资源调度和应用管理独立进程 2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务 3.container概念 |
1.将资源划分为等量以slot为单位 2.maptask和reducetask独立分配 |
最新文章
- 各大就业网站对web前端的就业要求
- bzoj2141排队（辣鸡但是好写的方法）
- [java]删除数组中的某一个元素
- android bitmap和数据流的互转
- maven错误解决一：Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile)
- COS中访问文件的三种方式
- [Mac]Mac Xcode 删除已经下载好的模拟器版本
- 如何使用SplitContainer控件[转]
- 一个简单C程序的汇编代码分析
- Swift中文教程(六)--枚举和结构
- 终端的CTRL+S 解说
- $(obj).index(this)与$(this).index()异同讲解
- redux-thunk 源码学习记录
- Python标准库之textwrap模块
- Linux发行版：CentOS、Ubuntu、RedHat、Android、Tizen、MeeGo
- Android毛玻璃模糊化效果处理
- EBS-如何查看非自己提交的请求的结果
- Django_在单独文件中加载Django环境临时调试
- Linux应急处理操作手册
- python 爬爬爬 基本函数～