NameNode 和 SecondaryNameNode

1. NN 和 2NN 工作机制

NameNode 会产生在磁盘中备份元数据的FsImage;
每当元数据有更新或者添加数据时,修改内存中的元数据并追加到Edits中;
SecondaryNameNode 专门用于合并 FsImage 和 Edits;

2. Fsimage 和 Edits 解析

查看Fsimage: hdfs oiv -p XML -i fsimage_0000000000000000105 -o fsimage.xml
- hdfs oiv -p 需要转换生成的文件类型 -i 镜像文件 -o 转换后文件输出路径
查看Edits: hdfs oev -p XML -i edits_000000000000000104-000000000000000105 -o edits.xml

3. CheckPoint 时间设置

通常情况下, SecondaryNameNode 每隔一小时执行一次;
另一种情况:一分钟检查一次操作次数,当操作次数达到一百万时, SecondaryNameNode 执行一次;

// hdfs-default.xml

<property>

    <name>dfs.namenode.checkpoint.period</name>

    <value>3600</value>

</property>

<property>

    <name>dfs.namenode.checkpoint.txns</name>

    <value>1000000</value>

    <description>操作次数</description>

</property>

<property>

    <name>dfs.namenode.checkpoint.check.period</name>

    <value>60</value>

    <description>一分钟检查一次操作次数</description>

</property>

4. NameNode 故障处理

NameNode 发生故障后,可以采用两种方法恢复数据
- 将 SecondaryNameNode 中数据拷贝到 NameNode 存储数据的目录;
- 使用 -importCheckpoint 选项启动 NameNode 守护进程, 从而将 SecondaryNameNode 中数据拷贝到 NameNode 目录中;
  - 如果 SecondaryNameNode 和 NameNode 不在一个主机节点上,需要将 SecondaryNameNode 存储数据的目录拷贝到 NameNode 存储数据的评级目录,并删除 in_user.lock 文件;
  - bin/hdfs namenode -importCheckpoint
  - 启动 NameNode: sbin/hadoop-daemon.sh start namenode

// 第二种方式,需要修改 hdfs-site.xml 配置文件

<property>

    <name>dfs.namenode.checkpoint.period</name>

    <value>120</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>NameNode中存放地址/tmp/dfs/name</value>

</property>

5. 集群的安全模式

5.1 NameNode 启动

NameNode 启动时, 首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的 Fsimage 文件和一个空的编辑日志。此时,NameNode 开始监听 DataNode 请求。这个过程期间,NameNode 一直运行在安全模式,即 NameNode 的文件系统对于客户端来说是只读的。

5.2 DataNode 启动

系统中的数据块的位置并不是有 NameNode 维护的, 而是以块列表的形式存储在 DataNode 中。在系统的正常操作期间, NameNode 会在内存中保留所有块位置的映射信息。在安全模式下, 各个 DataNode 会向 NameNode 发送最新的块列表信息, NameNode 了解到足够多的块位置信息之后, 即可高效运行文件系统。

5.3 安全模式退出判断

如果满足"最小副本条件", NameNode 会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值: dfs.replication.min=1)。在启动一个刚刚格式化的 HDFS 集群时,因为系统中还没有任何块,所以 NameNode 不会进入安全模式。

5.4 安全模式基本语法

查看安全模式状态:hdfs dfsadmin -safemode get
进入安全模式状态:hdfs dfsadmin -safemode enter
离开安全模式状态:hdfs dfsadmin -safemode leave
等待安全模式离开:hdfs dfsadmin -safemode wait

6. NameNode多目录

NameNode 在本地目录可以配置成多个, 且每个目录存放内容相同,增加了可靠性;

// hdfs-site.xml 配置

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///${hadoop.tmp.dir}/dfs/name1, file:///${hadoop.tmp.dir}/dfs/name2</value>

</property>

参考资料:

HDFS NN 和 2NN工作机制

巴特西

NameNode 和 SecondaryNameNode

1. NN 和 2NN 工作机制

2. Fsimage 和 Edits 解析

3. CheckPoint 时间设置

4. NameNode 故障处理

5. 集群的安全模式

5.1 NameNode 启动

5.2 DataNode 启动

5.3 安全模式退出判断

5.4 安全模式基本语法

6. NameNode多目录

最新文章

热门文章