读取流程

写流程

============SecondaryNameNode============

Namenode的一个快照

周期性的备份namenode

记录namenode中的metadata及其它数据

可以用来恢复Namenode

============HDFS优点============

高容错性 --------->

√数据自动保存多个节点

√备份丢失后，自动恢复

适合批处理 --------->

√移动计算而非数据

√数据位置暴露给计算框架

合适大数据处理 --------->

√GB、TB、甚至PB级数据

√百万规模以上的文件数量

√ 10K+节点规模

流式文件访问 --------->

√一次性写入、多次读取

√保证数据的一致性

可构建在廉价的机器上 --------->

√通过多副本提高可靠性

√提供了容错和恢复机制

============HDFS缺点============

低延迟数据访问 --------->

√比如毫秒级

√低延迟与高吞吐率

小文件存取 --------->

√占用NameNode大量内存

√寻道时间超过读取时间

并发写入、文件随时修改 --------->

√一个文件只能有一个写者

√仅支持append

最新文章

1. .net中事件引起的内存泄漏分析
2. eclipse构建maven+scala+spark工程 转载
3. shell脚本调试
4. 修改Android签名证书keystore的密码、别名alias以及别名密码
5. BestCoder16 1002.Revenge of LIS II(hdu 5087) 解题报告
6. robot API笔记1
7. Jetty提交数据时报java.lang.IllegalStateException: Form too large270468>200000问题解决
8. 关于Java序列化和Hadoop的序列化
9. SQL Server 行的删除与修改-------------（未完待续P222 deep SQL Server 222 ）
10. 【Python之路】第七篇--Python基础之面向对象及相关
11. 在Linux环境如何在不解压情况下搜索多个zip包中匹配的字符串内容
12. maven项目如何手动打包
13. GMT\UTC YYYY-MM-DDTHH:mm:ss.sssZ、YYYY-MM-DDTHH:mm:ss.sss+8:00意义及与北京时间转换
14. 实现一个simple 3层的神经网络
15. 【详记MySql问题大全集】一、安装MySql
16. luogu3188/bzoj1190 梦幻岛宝珠 (分层背包dp)
17. GNOME 3.28 启用桌面图标
18. SqlServer 2008的tempdb数据文件大小暴增处理
19. Top useful .Net extension methods
20. Zookeeper 系列（一）基本概念

热门文章

1. 给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，输出null。
2. 校内测之zay与银临 (day2)（只有T1）
3. python json格式和csv文件转换
4. reversed()函数和sorted()函数
5. C++ Primer(第4版)-学习笔记-第4部分：面向对象编程与泛型编程
6. [Luogu] P3225 [HNOI2012]矿场搭建
7. Python学习笔记（1）对象类型
8. MySQL6
9. [spoj1182][Sorted Bit Sequence] (数位dp)
10. windows开启3306端口并用可视化工具访问远程mysql(授权访问)