一、HDFS读取文件流程：

详解读取流程：

Client调用FileSystem.open()方法：

　　1 FileSystem通过RPC与NN通信，NN返回该文件的部分或全部block列表（含有block拷贝的DN地址）。

　　2 选取举栗客户端最近的DN建立连接，读取block，返回FSDataInputStream。

Client调用输入流的read()方法：

　　1 当读到block结尾时，FSDataInputStream关闭与当前DN的连接，并未读取下一个block寻找最近DN。

　　2 读取完一个block都会进行checksum验证，如果读取DN时出现错误，客户端会通知NN，然后再从下一个拥有该block拷贝的DN继续读。

　　3 如果block列表读完后，文件还未结束，FileSystem会继续从NN获取下一批block列表。

关闭FSDataInputStream

二、HDFS文件写入流程：

详细写入流程：

Client调用FileSystem的create()方法：

　　1 FileSystem向NN发出请求，在NN的namespace里面创建一个新的文件，但是并不关联任何块。

　　2 NN检查文件是否已经存在、操作权限。如果检查通过，NN记录新文件信息，并在某一个DN上创建数据块。

　　3 返回FSDataOutputStream，将Client引导至该数据块执行写入操作。

Client调用输出流的write()方法：

　　HDFS默认将每个数据块放置3份。FSDataOutputStream将数据首先写到第一节点，第一节点将数据包传送并写入第二节点，第二节点 --> 第三节点。

Client调用流的close()方法：

　　flush缓冲区的数据包，block完成复制份数后，NN返回成功消息。

最新文章

1. 浏览器内部工作原理--作者：Tali Garsiel
2. C#单例模式的多种写法
3. js根据不同浏览器(分辨率)调用不同css
4. Linq分页
5. jQuery异步表单提交
6. 安卓MP3播放器开发实例（1）之音乐列表界面
7. anjular中Service、Factory、Provider的使用与js中创建对象的总结
8. Spring入门介绍（一）
9. Springmvc 横向源码原理解析（原创）
10. 元组Tuple的使用
11. [Swift]LeetCode773. 滑动谜题 | Sliding Puzzle
12. session与cookie的区别以及HTML5中WebStorage理解
13. Luogu4451 [国家集训队]整数的lqp拆分
14. 解决RAID重启后自动更名为md127
15. JAVA 的输入与输出流当中，什么时候该使用字符流？什么时候该使用字节流？
16. 51NOD1522 上下序列/CF567F Mausoleum DP
17. Activiti 用户手册
18. mac 安装gevent报错
19. django框架--cookie/session
20. Uva821 Page Hopping (Floyd)

热门文章

1. 一起学习MVC（3）Views的学习
2. 利用HttpWebRequest模拟表单提交
3. 3D Spherical Geometry Kernel( Geometry Kernels） CGAL 4.13 -User Manual
4. Centos之文件搜索命令find
5. JavaWeb之Servlet中ServletConfig和ServletContext
6. 【learning】vim爆改记 （如何让vim用起来像devc++）
7. AngularJS Directive 命名规则
8. sublime text3 --前端工程师必备
9. 【Java并发编程】：并发新特性—Executor框架与线程池
10. 【Java并发编程】：Runnable和Thread实现多线程的区别