eclipse 执行MapReduce程序错误异常汇总(解决Map not fount)
错误一:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1980)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
... 8 more
问题分析:非常烦人的一个问题。非常久之前就碰见过,后来电脑linux换了一个版本号,攻克了
解决的方法:eclipse加入hadoop配置文件问题,记住仅仅须要在程序文件夹下新建一个conf的文件夹。把log4j.properties复制到该文件夹下,重新启动eclipse就可以
错误二:
eclipse 执行MR提示无法訪问的情况
问题分析:权限不足
解决的方法:又一次给hdfs文件系统赋予权限(可能会常常遇到这样的问题,可运行同一种操作就可以)bin/hdfs dfs -chmod -R 777 /
错误三:
HMaster启动之后马上又关闭
问题分析:可能是zookeeper不稳定造成的,
解决的方法:停止zookeeper服务(bin/zkServer.sh stop zoo1.cfg bin/zkServer.sh stop zoo2.cfg bin/zkServer.sh stop zoo3.cfg ),再又一次启动
错误四:
15/08/23 11:10:07 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001
Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法訪问"/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001": 没有那个文件或文件夹
问题分析:eclipse的配置文件缺少
解决的方法:把配置hadoop时所改动的配置文件所有拷贝到src目录下
错误五:
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/thinkgamer/output already exists
问题分析:hdfs文件系统中的output目录已经存在
解决的方法:删除就可以(同一时候还可能出现找不到input文件夹的问题,此时注意检查input路径)
最新文章
- wordpress取文章时间
- Flex contextMenu
- a标签的href值
- 【转】TestFlight APP测试(IOS如何让上架前给其他人测试)
- 01JavaIO详解_File类
- Android--ViewPager的无限轮播
- How-to Dump Keys from Memcache--reference
- hdu 1095 A+B for Input-Output Practice (VII)
- 默认时,销毁会话,session_unset, session_destory
- PHP 获取目录
- com.alibaba.dubbo.rpc.RpcException: Failed to invoke the method findUserByUserNo in the service wusc.edu.facade.user.service.PmsUserFacade.
- mysql表生成JavaBean
- [ Java学习基础 ] Java异常处理
- Angular2学习笔记2
- 关于新建Eclipse新建一个WEB项目后创建一个jsp文件头部报错问题?
- 深浅拷贝,原生和JQuery方法实现
- linux服务器磁盘挂载操作
- numpy的数组常用运算练习
- mysql学习笔记--数据库预处理
- jmeter4.0的汉化