HDFS成员的工作机制
2024-09-02 17:33:44
NameNode工作机制
nn负责管理块的元数据信息，元数据信息为fsimage和edits预写日志，通过edits预写日志来更新fsimage中的元数据信息，
每次namenode启动时，都会将磁盘中的fsimage读入到内存
当达到snn的checkpoint标准时(一小时或100W次操作)，由scc辅助nn进行edits和fsimage的合并
SecondaryNameNode的工作机制
scc向nn询问是否需要执行checkpoint，并且直接带回询问结果。
scc请求执行checkpoint
nn滚动正在写的edits日志，将checkpoint以前的edits和fsimage拷贝给snn
snn将edits和fsimage加载到内存中并且合并，生成新的文件fsimage.checkpoint
snn将新生成的fsimage.checkpoint拷贝给nn，nn将文件改名为fsimage
*** Fsimage介绍 ***
FSImage 是 NameNode 自最后一次 CheckPoint 之前的全部元数据，并不是实时的数据
FSImage 保存了 NameNode 管理下的所有 DataNode 的文件和目录信息
（对文件来说：包括文件的 block、各个 block 所在的 DataNode，以及它们的修改时间、访问时间等
对目录来说：包括修改时间、访问权限控制信息（权限、属组）等。）
FSImage 默认会保存2个，由属性 dfs.namenode.num.checkpoints.retained 控制。
DateNode工作流程
dn在启动后会向nn进行注册，汇报块信息，
在注册成功后，默认每隔6小时向nn汇报一次块信息，
每三秒与nn进行一次心跳，心跳会带回nn对dn的命令，如删除某数据块(如果超过10分钟+30秒没有与nn进行心跳则会认为次dn已经挂掉)
集群运行中可以安全的加入和退出一些机器
最新文章
- ScrollView
- [转]unicode，ansi，utf-8，unicode big endian的故事
- 切记一定要防止恶意用户直接访问Ajax请求地址
- 深入学习PHP内核
- 在20上链接db2
- C# 中关闭当前线程的四种方式 .
- WCF技术剖析之二十五: 元数据（Metadata）架构体系全景展现[元数据描述篇]
- Windows IOT
- thinkphp ，进行关联模型的时候出现的问题，版本是3.2
- dubbox系列【三】——简单的dubbox提供者+消费者示例
- Linux systemctl 命令完全指南
- 第二章 微服务构建：Spring Boot
- MySQL高可用方案--MHA部署及故障转移
- @Vue/Cli 3 关于 render 空的处理
- ftpdata目录下日期目录权限问题
- for-each 循环原理
- jenkins(五)---jenkins添加项目
- php 传递赋值和地址赋值 &
- Failed to create the part's controls解决方法
- Hibernate数据连接不能正常释放的原因，以及在监听中获取apolicationContext上下文
热门文章
- 神坑！为什么prometheus的pushgateway不能对上报的counter进行累加？
- 【记录一个问题】opencv官网的opencv android sdk使用opencl并未用到GPU
- ROS之face recongination（cbo_peopel_detection）
- Cesium中文网——如何开发一款地图下载工具[一]
- golang中的反射解析结构体标签tag
- gin使用BasicAuth中间件
- logrotate 日志切割
- mybatis配置入门中遇到的问题
- MySQL 5.7主从搭建（同一台机器）
- Python学习笔记之读取文件、OS模块、异常处理、with as语法示例