Hadoop Reducer个数设置
2024-08-29 20:36:10
在默认情况下，一个MapReduce Job如果不设置Reducer的个数，那么Reducer的个数为1。具体，可以通过JobConf.setNumReduceTasks(int numOfReduceTasks)方法来设置Reducer的个数。那么，如何确定Reducer的个数呢，Hadoop documentation 推荐了两个计算公式：
- 0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
- 1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
其中，NUMBER_OF_NODES 代表集群中计算节点的个数，mapred.tasktracker.reduce.tasks.maximum代表每一个节点所分配的Reducer任务槽的个数。
最新文章
- 记录一次bug解决过程：eclipse集成lombok插件
- SCCM日志存放路径
- robotframework笔记24
- 如何利用CSS代码使图片和文字在同一行显示且对齐
- asp动态生成google的sitemap地图的代码
- js,css 和 html 分离，见仁见智
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- 谈使用Eclipse与DDMS调试Android程序的方法
- A_star poj2449 k短路
- QQ在线咨询状态显示不出来怎么办？http://bizapp.qq.com/webpres.htm
- Java使用HttpURLConnection上传文件
- [译]ava 设计模式之职责链
- IO基础内容(File)
- mysql修改表和列
- Java内存泄漏分析系列之四：jstack生成的Thread Dump日志线程状态
- java多线程的基础-java内存模型（JMM）
- linux权限字母的含义
- 17-(基础入门篇)GPRS(Air202)串口
- 运用PDO存储将图片、音频文件存入数据库
- MYSQL + MHA +keepalive + VIP安装配置(二)--MHA的配置