错误信息例如以下:Container [pid=26845,containerID=container_1419056923480_0212_02_000001]
is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.

分析:刚開始以为是内存不够,所以不断的调大虚拟内存,问题是攻克了。可是实际执行的时候还是会偶尔报这个错误。

问题的解决办法在于:

set yarn.nodemanager.resource.memory-mb=2048;

m;

这两个參数配成了相等,而实际上第一个參数为节点能从yarn上获得的全部内存,第二个參数为其上执行的jvm内存。除了jvm之外还须要一些空间来让总体work起来。

当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点。被Container
kill掉。推荐的比例是jvm为实际内存的0.8

map和reduce的内存配置相同有这个问题。演示样例配置:

mapred-site.xml

set mapreduce.map.memory.mb=1024;

set mapreduce.map.java.opts=-Xmx819m;

set mapreduce.reduce.memory.mb=2048;

set mapreduce.reduce.java.opts=-Xmx1638m;



yarn-site.xml

set yarn.nodemanager.resource.memory-mb=2048;

set yarn.app.mapreduce.am.command-opts=-Xmx1638m;

这篇文章详细说明了问题的解决办法和推荐的配置

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?

textToSearch=queue#

最新文章

  1. [转载] 百度上传&下载脚本
  2. 重新开始刷dp,哈哈哈
  3. 最实用的APP界面设计知识,有温度的APP设计(转)
  4. 合并多个dll为一个dll
  5. python 调用内部类的两种方法
  6. cadence通过孔焊盘的制作
  7. PHP 中的静态变量的简单使用
  8. PB C/S轉B/S ODBC方式連接數據庫
  9. 设置radio的选中状态
  10. 直接用postman测试api ,服务器端没提供跨域也可以访问。
  11. css基础详解(1)
  12. Java的Random总结
  13. POI中excle样式怎么写
  14. TP5.0+小程序商城构建(1)
  15. 【bzoj5072】[Lydsy十月月赛]小A的树 树形背包dp
  16. PAT 1068 万绿丛中一点红(20)(测试点分析+思路分析)
  17. C#编程(三十九)----------比较对象的相等性
  18. 模式识别之bpnn---神经网络训练
  19. Yii 语言设置 中文提示信息
  20. 使用SUI框架下的<a>标签点击跳转页面不刷新的问题

热门文章

  1. ef core 2.1 利用Query Type查询视图
  2. JS版汉字与拼音互转终极方案,附简单的JS拼音
  3. Storyboards Tutorial 02
  4. MATLAB矩阵基础运算
  5. sublime的markdown插件
  6. VS2010 MFC中 使用CListCtrl的排序功能
  7. django如何用邮箱代替用户名登录
  8. openTK学习
  9. Java加载Properties配置文件工具类
  10. 2017.2.28 activiti实战--第七章--Spring容器集成应用实例(五)普通表单