学习汇报7 hdfs集群角色属性
2024-09-18 23:05:53
主从角色
namenode ：
核心，架构中的主角色
管理和维护文件系统的元数据，包括目录树结构、文件和块的位置信息、访问权限等信息
namenode是访问hdfs的唯一入口
仅存储元数据
知道hdfs中文件的块列表及其位置
不持久化存储位置信息
如果发生故障属于单点故障
通常会配置大量的内存
datanoede：
从角色，负责具体的数据块存储
负责数据块block的存储
datanode启动时，注册自己到namenode并且汇报自己负责的块列表
某个datanode关闭时，不会影响数据的可用性。namenode将安排由其他datanode管理的块进行副本复制
需要大量的磁盘空间
secondary namenode：
namdenode的辅助节点，但是并不能代替namenode
帮助主角色进行元数据文件的合并动作。
pipeline管道
客户端写道第一台机器，第一台到第二台到第三台
充分利用带宽，避免网络瓶颈和高延迟连接，最小化推送所有数据的延迟
传输反方向，ACK应答机制，确保数据安全
默认三副本存储机制，由blockplacementpoliticydefault类指定
第一个副本，优先客户端本地，否则随机
第二个副本，不同于第一个副本的不同机架
第三个副本，第二个副本相同，机架不同的机器
最新文章
- CRL通用权限控制系统
- 事务管理(下) 配置spring事务管理的几种方式(声明式事务)
- jquery实现输入框聚焦，键盘上下键选择城市
- [Winform]一个简单的账户管理工具
- C++智能指针管理类
- nginx的https配置
- Django Navi 重用
- 960 grid 分析
- PHP 重载 __call() _callStatic方法
- sql sever 基础知识及详细笔记
- 安装phpnow服务[Apache_pn]提示失败的解决方法
- SpringBoot进阶教程(二十六)整合Redis之共享Session
- python模块学习之hashlib模块学习
- 817. Linked List Components
- 20175234 《Java程序设计》第二周学习总结（二）
- SQL里执行CLR c#代码
- [Python] 03 - Lists, Dictionaries, Tuples, Set
- （转）Maven学习总结(九)——使用Nexus搭建Maven私服
- OpenWrt中wifidog的配置及各节点页面参数
- Android学习系列(12)--App列表之拖拽GridView