错误:org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException(

或者为FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

原因一:yarn-site.xml配置文件有问题

解决方法:在hadoop/etc/hadoop/yarn.site.xml中添加配置

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

原因二:数据量太大MapReduce数据处理时内存占用太多,内存溢出

解决方法:减少处理的数据量

最新文章

  1. Swift - UIBezierPath
  2. VSO-Branch和Merge
  3. Failed: error processing document #281: unexpected EOF,往MongoDB当中插入json文件时出现的错误。
  4. HTC Vive 与Leap Motion 出现位置错误的问题
  5. 【leetcode】Merge Intervals
  6. 并发容器之ConcurrentSkipListSet
  7. HUD2087
  8. [RxJS] Completing a Stream with TakeWhile
  9. 003 python中的内置函数
  10. BZOJ1819 [JSOI]Word Query电子字典 Trie
  11. C#并行编程(1):理解并行
  12. Python的两种运行方式
  13. Redis记录-Redis介绍
  14. git版本控制文件提交到composer应用市场,并下载用市场的软件库
  15. Remove “Quick Access” entry in Eclipse Juno
  16. delphi 事务处理SQL语句
  17. c++复习要点
  18. C#反射动态调用dll中的方法及使用QuartZ.net实现作业调度
  19. 2017 Multi-University Training Contest - Team 2 TrickGCD(组合数学)
  20. Excel 如何复制粘贴一整行

热门文章

  1. jps 命令
  2. Macaca环境搭建(四)----mac系统macaca安装
  3. [bzoj2288]【POJ Challenge】生日礼物_贪心_堆
  4. LINK : fatal error LNK1104: cannot open file的解决方法
  5. 老贾的幸福生活day5 while循环 格式化 运算符 编码初识
  6. HTML DOM focus() 方法
  7. Codeforces 1228E. Another Filling the Grid
  8. Java反射理解(四)-- 获取成员变量构造函数信息
  9. Eclipse怎么改变@author 姓名
  10. O050、Create Volume 操作 (Part I)