hadoop使用问题

前提　环境 ubuntu 安装hadoop　已经有一段时间

１．启动的时候提示　

　　　　Connection reset by peer　这个查看日志，里面有说　ssh里面某个文件的权限太大　这个ssh里修改下就可以

２．EPERM: Operation not permitted

　　这个之前以为是权限问题，后来改成７７７依然不行，最后重新格式化namenode后解决

　　　　bin/hadoop namenode -format

３．新建文件夹之前要先新建用户目录。

　　/hadoop/bin$ ./hdfs dfs -mkdir -p /user/hadoop

４．namenode　因为某个文件夹的权限问题引起启动失败。日志里可以看到，这个chmod 之后就可以

5.File Exception between local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000;

这个错误在format namenode后解决了

６． All directories in dfs.datanode.data.dir are invalid

　　忽然出现这个问题，上次使用还很正常的，为什么每次关闭之后似乎就不能用了　最后在Overflow里　http://stackoverflow.com/questions/8076439/namenode-not-getting-started　发现我的hadoop.tmp.dir 并没有配置而是使用了默认的，所以在每次重启之后这个东西都会被删除，然后导致了问题。于是修改hdfs-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

再之后重新格式化节点就可以了．有说权限不对的，实际操作了下好像没有用，请各位童鞋结合自己实际情况操作，请大家安装配置的时候务必将目录修改到持久化的目录，而不是使用默认的这个目录

7.Unhealthy Nodes 这里我这边是在yarn-site.xml下配置了yarn.nodemanager.local-dirs　因为没有制定目录使用的是默认的路径所以出问题了　这里可以使用　　　　　　　　yarn node -list -all　查看节点的状况。　配置之后重启了下服务　刷新下页面后已经没有不健康的节点了．

巴特西

hadoop使用问题

最新文章

热门文章