Combiners和Partitioner编程
2024-08-26 08:48:28
Combiners的作用:
每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。如下例子:
如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以从我的想法来看,Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
Partitioner编程:
自定义Partitioner,主要是想Reduce的结果能过根据key再次分类输出到不同文件夹中,结果能够直观,同时做到对数据结果的简单统计分析;
如下:
最新文章
- Debian-based Linux distributions 安装 virtualbox
- iOS开发数据库篇—SQLite的应用
- SAP HR宏 rp-provide-from-last
- codevs 1690 开关灯 线段树水题
- 转:VS中的路径宏 vc++中OutDir、ProjectDir、SolutionDir各种路径
- JSON对象(自定义对象)
- FastDFS分布文件系统[转]
- c#yield,IEnumerable,IEnumerator
- Linux 多线程串口通信
- Nopi Excel导入
- HDU 1069 I Think I Need a Houseboat(模拟)
- U盘为什么还有剩余空间,但却提示说空间不够
- AWT与Swing的区别
- html表单 2017-03-10PM
- Jmeter4.0+版本If Controller使用
- Java虚拟机垃圾收集器
- Fiddler 只取所需
- WEBBASE篇: 第七篇, JavaScript知识1
- 收藏的blog
- 在Web根目录下建立testdb.php文件内容