hive job oom问题
错误信息例如以下:Container [pid=26845,containerID=container_1419056923480_0212_02_000001]
is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.
分析:刚開始以为是内存不够,所以不断的调大虚拟内存,问题是攻克了。可是实际执行的时候还是会偶尔报这个错误。
问题的解决办法在于:
set yarn.nodemanager.resource.memory-mb=2048;
m;
这两个參数配成了相等,而实际上第一个參数为节点能从yarn上获得的全部内存,第二个參数为其上执行的jvm内存。除了jvm之外还须要一些空间来让总体work起来。
当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点。被Container
kill掉。推荐的比例是jvm为实际内存的0.8
map和reduce的内存配置相同有这个问题。演示样例配置:
mapred-site.xml
set mapreduce.map.memory.mb=1024;
set mapreduce.map.java.opts=-Xmx819m;
set mapreduce.reduce.memory.mb=2048;
set mapreduce.reduce.java.opts=-Xmx1638m;
yarn-site.xml
set yarn.nodemanager.resource.memory-mb=2048;
set yarn.app.mapreduce.am.command-opts=-Xmx1638m;
这篇文章详细说明了问题的解决办法和推荐的配置
http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?
textToSearch=queue#
最新文章
- [转载] 百度上传&;下载脚本
- 重新开始刷dp,哈哈哈
- 最实用的APP界面设计知识,有温度的APP设计(转)
- 合并多个dll为一个dll
- python 调用内部类的两种方法
- cadence通过孔焊盘的制作
- PHP 中的静态变量的简单使用
- PB C/S轉B/S ODBC方式連接數據庫
- 设置radio的选中状态
- 直接用postman测试api ,服务器端没提供跨域也可以访问。
- css基础详解(1)
- Java的Random总结
- POI中excle样式怎么写
- TP5.0+小程序商城构建(1)
- 【bzoj5072】[Lydsy十月月赛]小A的树 树形背包dp
- PAT 1068 万绿丛中一点红(20)(测试点分析+思路分析)
- C#编程(三十九)----------比较对象的相等性
- 模式识别之bpnn---神经网络训练
- Yii 语言设置 中文提示信息
- 使用SUI框架下的<;a>;标签点击跳转页面不刷新的问题