HDFS的上传下载流程
2024-10-20 01:29:30
hdfs上传流程
首先客户端向nn请求上传文件、
nn经过检查回应客户端是否可以上传、
客户端得到同意后向nn请求上传第一块文件的dn、
nn返回给客户端dn的地址、
客户端与其中一个dn1建立连接然后dn1再与dn2连接，dn2再与dn3进行连接、
dn3，dn2，dn1，客户端逐级回应连接成功、
客户端开始向dn1上传第一个block以packet为单位,dn1收到一份packet后自己保存一份还会给dn2,再由dn2向dn3传输一份,
当三台dn都保存了block后则第一块上传完成，可以开始上传第二块了
hdfs下载流程
客户端向nn请求下载某个文件，
nn通过查询元数据找到文件地址返回文件地址给客户端，
客户端挑选一台dn开始请求数据
dn开始传输数据，以packet的形式传输给客户端
客户端拿到所有的packet后合并为一个完整的文件
**下载的过程可以并发进行下载，也就是同时找不同的dn进行下载不同的块文件
最新文章
- Django基础，Day5 - form表单投票详解
- placeholer 换行
- Javascript - Arraylike的7种实现
- Android--多线程之Handler
- UVALive 5010 Go Deeper 2sat
- 解决两台虚拟机互ping可通，但connect失败
- volatile用处说明
- 2.2 文件 I/O 的基石：Path
- 【转】C#实现MD5加密
- Java疯狂讲义
- 抓取数据同步备份hive
- [转]numpy线性代数基础 - Python和MATLAB矩阵处理的不同
- FRAM 铁电存储器
- 重温Android中的消息机制
- Java中的char究竟能存中文吗？
- OpenCL中三种内存创建image的效率对比
- java之JVM（二）
- Regular Express 匹配中文，所有中文标点符号
- RPA答疑
- 在DevExpress程序中使用PopupContainerEdit和PopupContainer实现数据展示