HDFS学习笔记二
2024-08-26 02:27:02
文章来源于:https://blog.csdn.net/xuejingfu1/article/details/52554174
文件写入staging(分阶段进行)
一个客户端的创建文件的请求并不直接会送达namenode;实际上,
1.最初HDFS客户端会把数据缓存在本地的buffer中,
2.应用的写操作被透明地重定向到该buffer;当缓存数据量达到128M时(block size),客户端会联系namenode,
3.namenode把该文件的文件名插入文件系统中并分配一个block给它;
4.namenode将datanode的身份以及目的block响应给客户端;
5.客户端把buffer中的数据传送给指定的datanode;
6.客户端通知namenode文件已关闭
7.namenode把该文件的metadata提交给EditLog和FsImage
8.如果namenode在文件关闭之前失效了,该文件将会丢失
最新文章
- [原]CentOS7.2部署node-mapnik
- MVC Core 网站开发(Ninesky) 2.1、栏目的前台显示
- 【2016-11-3】【坚持学习】【Day18】【ADO.NET 】
- CentOS7下Oracle的自动备份
- jquery循环操作
- win10下vs2015创建asp,net core项目并运行在ubuntu14.04下
- Java生成CSV文件实例详解
- (三)play之yabe项目【数据模型】
- AndroidStaggeredGrid
- Qt读取JSON和XML数据
- (原)Opencv中直方图均衡和图像动态范围拉伸的代码
- POJ 1052 Plato's Blocks
- css Tab选项卡2
- 利用Openssl进行RSA加密签名算法
- js自执行函数写法
- 什么是TNB?如何买TNB?
- [译]使用mediatR的notification来扩展的的应用
- HDU 4135 Co-prime (容斥+分解质因子)
- js 开源k线图开发库
- POJ 3522 - Slim Span - [kruskal求MST]
热门文章
- maven项目引入spring boot依赖之后filter不生效的问题
- python socket 的理解(1)
- Git 协作:Fetch Pull Push Branch Remote Rebase Cherry-pick相关
- windows下搭建Mongo主(Master)/从(slave)数据库同步
- Hibernate 一对多配置 级联操作(级联失败问题分析解决)
- Spring-quartz定时系统多任务配置
- HTML5 canvas绘制图形
- Facebook的利润创下历史新高,不受最近的丑闻影响
- 如何使用Excel绘制甘特图
- HihoCoder 1055	刷油漆 (树上背包)