hadoop之mr框架的源码理解注意点

2024-09-06 22:23:46

1、reduce源码中的

GroupComparable和SecondaryComparable到底都是干什么的

理解点1：

源码位置

理解点

secondaryComparable这个是可以对map端按照某种规则排序好的数据进
行边界的界定，就是比如你map端排序的根据是按点之前的字段进行分组的
之后传输到了reduce端了，但是你reduce端想要计算的时候是需要的是
按照点前面的如bj、sh等,和点后面的如cp等，进行计算的话，这个secondaryCpmpare
排序器可以在不改变原有map传输过来的数据的分组排序顺序的情况下进行边界的界定

理解点2：ReduceTask.class这个类和reducer的开始关联了

对于其中的Reducer对象的获取是通过反射实现的，可以看上面的图片中，的ReflectionUtils.getClass()方法

这个方法调用的是JobContext中的方法

接着ReducerTask.class进行学习

RecordWriter这个是为了最后计算完毕之后向外写出结果的时候用的

而其中的ReducerContext是为了帮助reducer完成数据迭代的一个上下文容器

具体的这个容器的创建的过程见下图

接下来进入到createReduceContext（）方法

在这个方法里面初始化ReduceContext对象

下面深入源码进入ReduceContextImpl（）

本方法中将获取的方法的参数赋值给ReduceContextimpl类的成员变量，供下面的使用

最后这个方法返回了reducerContext

有reduceTask中的reducerContext对象来接收

之后调用自己定义的reducer或者默认的reducer.class的run（）

进入run方法

又跳回到Reducer.class类的run方法

接下来进入nextKey（）方法

reducerContextImpl类中的nextKey（）方法

进入这个方法的nextKeyValue（）

回到Reducer.class的方法，

这个nextKey（）仅仅会有一种情况为真，其他的时候都是为假的，而不是看这个和上一个的key是否是是以昂扬的，直到最后的时候，map传递过来的数据集没有数据的时候才会返回false结束左侧的while循环，结束run的调用

接下来看看reducer是怎么界定当前的这个reduce任务该结束了

转到自带源码中的reducer.class的run中的getVlues（）方法，

进入RecduceContextImpl类中的到getValue（）方法

其中的迭代器的类型

转到迭代器的源码ReduceContextImpl .class

进入到ValueIterIterater类，这个类实现了Iterater接口

这个方法重写了Iterater中的next（）方法和hasNext()方法

接下来回到ReduceContextImpl.class的 ValueIterator中理解这个方法中的hasNext（）方法

最新文章

热门文章