文章来源于:https://blog.csdn.net/xuejingfu1/article/details/52554174

文件写入staging(分阶段进行)

一个客户端的创建文件的请求并不直接会送达namenode;实际上,
1.最初HDFS客户端会把数据缓存在本地的buffer中,
2.应用的写操作被透明地重定向到该buffer;当缓存数据量达到128M时(block size),客户端会联系namenode,
3.namenode把该文件的文件名插入文件系统中并分配一个block给它;
4.namenode将datanode的身份以及目的block响应给客户端;
5.客户端把buffer中的数据传送给指定的datanode;
6.客户端通知namenode文件已关闭
7.namenode把该文件的metadata提交给EditLog和FsImage
8.如果namenode在文件关闭之前失效了,该文件将会丢失

最新文章

  1. [原]CentOS7.2部署node-mapnik
  2. MVC Core 网站开发(Ninesky) 2.1、栏目的前台显示
  3. 【2016-11-3】【坚持学习】【Day18】【ADO.NET 】
  4. CentOS7下Oracle的自动备份
  5. jquery循环操作
  6. win10下vs2015创建asp,net core项目并运行在ubuntu14.04下
  7. Java生成CSV文件实例详解
  8. (三)play之yabe项目【数据模型】
  9. AndroidStaggeredGrid
  10. Qt读取JSON和XML数据
  11. (原)Opencv中直方图均衡和图像动态范围拉伸的代码
  12. POJ 1052 Plato's Blocks
  13. css Tab选项卡2
  14. 利用Openssl进行RSA加密签名算法
  15. js自执行函数写法
  16. 什么是TNB?如何买TNB?
  17. [译]使用mediatR的notification来扩展的的应用
  18. HDU 4135 Co-prime (容斥+分解质因子)
  19. js 开源k线图开发库
  20. POJ 3522 - Slim Span - [kruskal求MST]

热门文章

  1. maven项目引入spring boot依赖之后filter不生效的问题
  2. python socket 的理解(1)
  3. Git 协作:Fetch Pull Push Branch Remote Rebase Cherry-pick相关
  4. windows下搭建Mongo主(Master)/从(slave)数据库同步
  5. Hibernate 一对多配置 级联操作(级联失败问题分析解决)
  6. Spring-quartz定时系统多任务配置
  7. HTML5 canvas绘制图形
  8. Facebook的利润创下历史新高,不受最近的丑闻影响
  9. 如何使用Excel绘制甘特图
  10. HihoCoder 1055 刷油漆 (树上背包)