6、HDFS的元数据信息FSimage以及edits和secondaryNN的作用

fsimage：存放的是一份最完整的元数据信息，内容比较大
edits：元数据操作日志，记录了一段时间的元数据信息的变化，例如增删改查哪些文件，文件内容比较小，操作起来比较方便
edits一直记录元数据操作记录的话，也会慢慢膨胀的比较大，也会造成操作起来比较困难
为了控制edits不会膨胀太大，引入secondaryNameNode机制。
secondaryNameNode:主要职责，合并fsimage与edits，清空edits，
问题：edits什么时候跟fsimage合并？？？ 控制策略：时间长短 + 文件大小 比如说我们可以定义两个小时，或者edits文件大小达到1GB的时候合并一次。

在hdfs-site.xml配置fsimage和edits存储路径：

<!-- 定义了我们fsimage文件存储的路径。实际工作当中，这个路径不能随便写，需要首先确定我们的磁盘的挂载路径
df -lh 查看我们磁盘的挂载路径 -->

<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property>

<!-- 定义edits文件的存储路径  -->

<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>

6.2、FSimage、edits文件当中的文件信息查看

cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current

hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml

cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

hdfs oev -i  edits_0000000000000000865-0000000000000000866 -o myedit.xml -p XML

最新文章

1. 【转】 个人认为，这是最详细的 android------HttpURLConnection 类用法详解。一些教材没讲到的，它讲到了
2. Huffman Tree
3. 最简单的Github入门基础
4. Fiddler 教程
5. 重新想象 Windows 8 Store Apps (65) - 后台任务: 音乐的后台播放和控制
6. SQL Server 全局变量
7. hibernate.cfg.xml 配置（摘录）
8. css(二)
9. Web端的Tab控件在切换Tab时Load数据出错的处理
10. ASP.NET - 缓存（Cache）
11. gulp使用2-gulp-less及watch和错误提示
12. Servlet实践--留言板-v1
13. 【转】怎么解决java.lang.NoClassDefFoundError错误 ，以及类的加载机制
14. [Swift]LeetCode105. 从前序与中序遍历序列构造二叉树 | Construct Binary Tree from Preorder and Inorder Traversal
15. 【强大的Java集成开发工具】MyEclipse 2015 Stable 2.0 for Mac
16. Oracle 手动建库
17. SpringMVC中文乱码的解决办法
18. Easyui入门视频教程 第01集---认识Easyui
19. OSPF的特征、术语、包类型、邻居关系的建立、RID的选择、DR和BDR的选举、度量值的计算、默认路由、验证
20. [原创] Java JDBC连接数据库，反射创建实体类对象并赋值数据库行记录（支持存储过程）

热门文章

1. Python3列表、元组、字典、集合的方法
2. 《MIDINET: A CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORK FOR SYMBOLIC-DOMAIN MUSIC GENERATION》论文阅读笔记
3. UI：网络请求
4. ChartCtrl源码剖析之——CChartScrollBar类
5. 表单中的readOnly 和disabled
6. EF 6.0 The conversion of a datetime2 data type to a datetime data type resulted in an out-of-range value. c#中的时间
7. 第四章之S5PV210内存初始化
8. 《windows核心编程系列》二十一谈谈基址重定位和模块绑定
9. Qt事件系统之四：定时器事件与随机数
10. QString：常用成员函数总结