1.3 Apache Hadoop的重要组成-hadoop-最全最完整的保姆级的java大数据学习资料
1.3 Apache Hadoop的重要组成
Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块
- Hadoop HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统
比如:100T数据存储, “分而治之” 。分:拆分-->数据切割,100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。
数据切割、制作副本、分散储存
图中涉及到几个角色
NameNode(nn):存储文件的元数据,比如文件名、文件目录结构、文件属性(生成时间、副 本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
SecondaryNameNode(2nn):辅助NameNode更好的工作,用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照。
DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验
注意:NN,2NN,DN这些既是角色名称,进程名称,代指电脑节点名称!!
Hadoop MapReduce:一个分布式的离线并行计算框架
拆解任务、分散处理、汇整结果
MapReduce计算 = Map阶段 + Reduce阶段Map阶段就是“分”的阶段,并行处理输入数据
Reduce阶段就是“合”的阶段,对Map阶段结果进行汇总
Hadoop YARN:作业调度与集群资源管理的框架
计算资源协调
Yarn中有如下几个主要角色,同样,既是角色名、也是进程名,也指代所在计算机节点名称。
ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;
NodeManager(nm):单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;
ApplicationMaster(am):数据切分、为应用程序申请资源,并分配给内部任务、任务监控与容错。
Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。
ResourceManager是老大,NodeManager是小弟,ApplicationMaster是计算任务专员。
- Hadoop Common:支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)
最新文章
- Ubuntu杂记之——JDK、ANT安装、配置
- Program B 暴力求解
- 等价表达式(noip2005)
- powerScript脚本
- ERROR 1114 (HY000): The table 'adv_date_tmp' is full(Mysql临时表应用)
- 解决python “No module named pip”
- C#语言的新特性及相关信息
- 用Java来比较JavaScript的一些特性
- strrchr
- Linux云自动化运维第八课
- error——Fusion log——Debugging Assembly Loading Failures
- multiply对应位置相乘 与 dot矩阵乘
- windows sqlplus客户端连接oralce数据库中文显示问题
- ubuntu 解决TXT文本的乱码的问题。
- 顺序列表(栈/队列等)ADT[C++]
- uoj#119. 【UR #8】决战圆锥曲线
- spring boot 的服务监控
- 算法基础:删除字符串中出现次数最少的字符(Golang实现)
- Linux 服务管理两种方式service和systemctl
- 判定map中是否存在某元素
热门文章
- salesforce零基础学习(一百一十八)Restrict Rule
- Rook Toolbox
- Elasticsearch索引和查询性能调优的21条建议
- Java之POI导出Excel(二):多个sheet
- 关于aws的ec2实例导出成ova后在vmware中的网络配置不生效的问题
- 驱动开发:内核遍历进程VAD结构体
- 简单将Springboot项目部署到linux服务器上
- 43.Permission源码解析和自定义权限类
- AIR32F103(三) Linux环境基于标准外设库的项目模板
- SQL--Case When.. Then.. end的使用