记一次关闭Hadoop时no namenode to stop异常

在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常关闭了。遂祭出百度大法~：

大家都知道，关闭集群的命令是stop-dfs.sh和stop-yarn.sh,然鹅我执行完具体情况是这样的：

[simon@master ~]# stop-dfs.sh

Stopping namenodes on [master]

master: no namenode to stop

slave2: no datanode to stop

slave1: no datanode to stop

...

啊啊啊...这都是啥...俺有些不懂...

可以正常启动却不能停止？kiding me ?

执行jps命令，发现namenode,datanode等进程都正常运行着。纳了闷！

最终参考大佬们的博客之后，开始阅读hadoop-daemon.sh脚本文件，然后找出问题了问题的原因。

1、首先确定，报错代码出现的位置：

 if [ -f $pid ]; then

      TARGET_PID=`cat $pid`

      if kill -0 $TARGET_PID > /dev/null 2>&1; then

        echo stopping $command

        kill $TARGET_PID

        sleep $HADOOP_STOP_TIMEOUT

        if kill -0 $TARGET_PID > /dev/null 2>&1; then

          echo "$command did not stop gracefully after $HADOOP_STOP_TIMEOUT seconds: killing with kill -9"

          kill -9 $TARGET_PID

        fi

      else

        echo no $command to stop

      fi

      rm -f $pid

    else

      echo no $command to stop

    fi

没错了，报错代码就是后边几行

    ....省略

    else

      echo no $command to stop

    fi

现在原因很明显，如果找不到pid文件，在停止集群的时候就会报出这个错误。那么什么是pid文件呢？为什么找不到呢？

2、经过查阅资料发现，在脚本中有这么一行代码

#第107行

pid=$HADOOP_PID_DIR/hadoop-$HADOOP_IDENT_STRING-$command.pid

这里可以看出， HADOOP_PID_DIR 变量指定了hadoop的pid文件的存放目录。
那么这个pid文件是啥呢。Hadoop启动后，会把进程的PID号存储在一个文件中，这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。

找到HADOOP_PID_DIR 默认的路径 :
```
if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行

  HADOOP_PID_DIR=/tmp

fi
```
ok，明白了，存放集群pid文件的目录就是系统的/tmp目录，而这个目录下的文件系统会定期清理的。我这个集群自从搭建起来，一直运行着，pid文件也早就被清空了。所以我们给它换个指定目录，可以自己定义。我就把它设为了/home/tmp/pid。

3.着手设置

既然stop命令无法使用，那我们只能手动关闭了，jps查看你的namenode\datanode等进程的PID，然后用kill -9干掉即可。

if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行

  HADOOP_PID_DIR=/home/tmp/pid   # 创建这个文件夹用于存放pid文件

fi

大功告成，重启集群即可~

巴特西

记一次关闭Hadoop时no namenode to stop异常

记一次关闭Hadoop时no namenode to stop异常

最新文章

热门文章