MapReduce running in uber mode （jvm重用）
原文 http://blog.csdn.net/samhacker/article/details/15692003
yarn-site.xml 主要是这几个参数
- mapreduce.job.ubertask.enable | (false) | 是否启用user功能。如果启用了该功能，则会将一个“小的application”的所有子task在同一个JVM里面执行，达到JVM重用的目的。这个JVM便是负责该application的ApplicationMaster所用的JVM（运行在其container里）。那具体什么样的application算是“小的application"呢？下面几个参数便是用来定义何谓一个“小的application"
- mapreduce.job.ubertask.maxmaps | 9 | map任务数的阀值，如果一个application包含的map数小于该值的定义，那么该application就会被认为是一个小的application
- mapreduce.job.ubertask.maxreduces | 1 | reduce任务数的阀值，如果一个application包含的reduce数小于该值的定义，那么该application就会被认为是一个小的application。不过目前Yarn不支持该值大于1的情况“CURRENTLY THE CODE CANNOT SUPPORT MORE THAN ONE REDUCE”
- mapreduce.job.ubertask.maxbytes | | application的输入大小的阀值。默认为dfs.block.size的值。当实际的输入大小部超过该值的设定，便会认为该application为一个小的application。
最新文章
- Java 性能分析工具 , 第 3 部分: Java Mission Control
- centos上如何安装redis？|centos傻瓜式安装redis教程
- Dell DRAC的重启方法
- 机器学习笔记——支持向量机 （SVM）
- GPON和820.1p学习及资料（zt)
- 关于Block的copy和循环引用的问题
- linux内核常识
- 贪心 URAL 1303 Minimal Coverage
- React笔记_(1)_react概述
- Fastreport怎么样在同一页上下部分打印相同内容
- 【Vmware】VirtualBox下虚拟机的网络配置
- IntelliJ IDEA 调试(debug)时非常慢的原因
- I/HwPointEventFilter: do not support AFT because of no config
- python小练习： 给定一个数组 按重复次数 降序排列输出 数组非空且为正整数
- 【DOS】Win7系统文件夹名太长无法删除问题的解决
- pycharm鸡火
- 基于UML的中职班主任工作管理系统的分析与设计--文献随笔（二）
- mysql Keepalived 实践
- 理解Spring4.0新特性@RestController注解
- 7-13 求链式线性表的倒数第K项（20 分）