HDFS下载数据机制的底层分析

2024-08-25 20:19:16

HDFS下载数据机制的底层分析

Hadoop中的RPC（Remote Procedure Call）框架

hadoop中结点间的通信采用的是RPC。

RPC框架的实现机制图解：

从hdfs下载数据的源码分析

在自行在客户端编写download方法的时候，如果不使用封装好的方法，较为底层的写法是：

    Configuration conf = new Configuration();

    conf.set("fs.defaultFS", "hdfs://node01:9000/");

	FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000/"), conf, "thousfeet");

	FSDataInputStream is = fs.open(new Path("/test.txt"));

	FileOutputStream os  = new FileOutputStream("c:/xxx.txt");

	IOUtils.copy(is,os);

跟踪查看在HDFS源码的内部实现：

getFileSystem

关键代码的流程图解：

inputstream

关键代码：

最新文章

热门文章