hadoop2.x需要知道的默认yarn配置
2024-10-07 20:28:52
在Hadoop 2.2.0中，YARN框架有很多默认的参数值，如果你是在机器资源比较不足的情况下，需要修改这些默认值，来满足一些任务需要。NodeManager和ResourceManager都是在yarn-site.xml文件中配置的，而运行MapReduce任务时，是在mapred-site.xml中进行配置的。 下面看一下相关的参数及其默认值情况：
| 参数名称 | 默认值 | 进程名称 | 配置文件 | 含义说明 |
|---|---|---|---|---|
| yarn.nodemanager.resource.memory-mb | 8192 | NodeManager | yarn-site.xml | 从节点所在物理主机的可用物理内存总量 |
| yarn.nodemanager.resource.cpu-vcores | 8 | NodeManager | yarn-site.xml | 节点所在物理主机的可用虚拟CPU资源总数（core） |
| yarn.nodemanager.vmem-pmem-ratio | 2.1 | NodeManager | yarn-site.xml | 使用1M物理内存，最多可以使用的虚拟内存数量 |
| yarn.scheduler.minimum-allocation-mb | 1024 | ResourceManager | yarn-site.xml | 一次申请分配内存资源的最小数量 |
| yarn.scheduler.maximum-allocation-mb | 8192 | ResourceManager | yarn-site.xml | 一次申请分配内存资源的最大数量 |
| yarn.scheduler.minimum-allocation-vcores | 1 | ResourceManager | yarn-site.xml | 一次申请分配虚拟CPU资源最小数量 |
| yarn.scheduler.maximum-allocation-vcores | 8 | ResourceManager | yarn-site.xml | 一次申请分配虚拟CPU资源最大数量 |
| mapreduce.framework.name | local | MapReduce | mapred-site.xml | 取值local、classic或yarn其中之一，如果不是yarn，则不会使用YARN集群来实现资源的分配 |
| mapreduce.map.memory.mb | 1024 | MapReduce | mapred-site.xml | 每个MapReduce作业的map任务可以申请的内存资源数量 |
| mapreduce.map.cpu.vcores | 1 | MapReduce | mapred-site.xml | 每个MapReduce作业的map任务可以申请的虚拟CPU资源的数量 |
| mapreduce.reduce.memory.mb | 1024 | MapReduce | mapred-site.xml | 每个MapReduce作业的reduce任务可以申请的内存资源数量 |
| yarn.nodemanager.resource.cpu-vcores | 8 | MapReduce | mapred-site.xml | 每个MapReduce作业的reduce任务可以申请的虚拟CPU资源的数量 |
最新文章
- Wordpress上传到阿里云服务器
- python文件头的#-*- coding: utf-8 -*- 的作用
- (转) Eclipse连接MySQL数据库（傻瓜篇）
- eclipse中web工程新建jsp文件报错:The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path
- Maven：mirror和repository 区别
- SQL Server 2005的XML数据修改语言（XML DML）
- Shell函数：Shell函数返回值、删除函数、在终端调用函数
- Linux入门基础 #5：Linux文件系统挂载管理
- nova-network创建初始化网络
- js和jquery中的触发事件
- Unity3d 网络编程（二）（Unity3d内建网络各项參数介绍）
- 随便讲讲XSS攻击
- dp + 组合数 Codeforces Beta Round #9 (Div. 2 Only) D
- mongodb学习(三) 安装和基本CRUD
- 用python实现模拟登录人人网
- 201521123027 <java程序设计>第13周学习总结
- shell 脚本中执行SQL语句 -e "..."
- 【Visual C++】游戏编程学习笔记之一：五毛钱特效之透明和半透明处理
- 露脸！钉钉通过SOC2隐私性原则审计，安全和隐私保护达超一流国际标准
- Nuxt.js笔记