HDFS日志的查看总结
2024-10-20 16:21:29
HDFS日志查看的两种方式：HDFS安装目录中的logs中和HDFS WEB UI上
HDFS安装目录中的logs中看日志
我们分别在master、slave1以及slave2上安装了HDFS，只是每台机器上安装的角色不一样而已。
在master安装的是NameNode和SecondaryNameNode，对应的日志为：
## 这个是NameNode对应的日志
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-namenode-master.log
## 这个是SecondaryNameNode对应的日志
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-secondarynamenode-master.log
在slave1和slave2上安装的都是DataNode的角色，DataNode对应的日志文件为：
## slave1上的DataNode的日志文件
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-datanode-slave1.log
## slave2上的DataNode的日志文件
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-datanode-slave2.log
NameNode和DataNode对应的日志的路径默认是在$HADOOP_HOME/logs下，即在Hadoop安装目录下的logs目录下，这个日志存放的地方可以通过$HADOOP_HOME/etc/hadoop/hadoop-env.sh中的配置HADOOP_LOG_DIR来修改，如下图：
可以通过下面的配置来修改日志的存放目录：
## 将日志都放在/home/hadoop-twq/hadoop/cus/logs这个文件目录下
export HADOOP_LOG_DIR=/home/hadoop-twq/hadoop/cus/logs
HDFS WEB UI上查看日志
这种方式只能查看HDFS的NameNode和SecondaryNameNode的日志
我们可以通过http://master:50070来访问HDFS集群。然后点击如下图
然后我们进入到下图
- 第1处是HDFS的NameNode的日志
- 第2处是HDFS的SecondaryNameNode的日志
- 第3处是Yarn的ResourceManager的日志，这个你如果现在看不懂没关系的
当我们点击第1处的时候，可以看到下图：
这个就是NameNode的日志
最新文章
- Linux C语言解析并显示.bmp格式图片
- 当没有用 EXISTS 引入子查询时，在选择列表中只能指定一个表达式。
- 【Beta】Daily Scrum Meeting第二次
- supersocket中quickstart文件夹下的MultipleCommandAssembly的配置文件分析
- ZOJ 3905 Cake(贪心+dp)
- Struts2 的国际化实现
- Spring MVC 的json问题(406 Not Acceptable)
- net开发过程中Bin目录net开发过程中Bin目录下面几种文件
- Day01_变量,数据类型_程序交互_流程控制
- Ubuntu 17.10.1安装， 定制
- STS搭建SpringBoot项目
- 隧道6in4 和隧道6to4（GNS3)
- JS 中 原生方法 (四) --- Object
- RedHat(Linux)下安装Python3步骤
- java集合： LinkedList源码浅析
- Atcoder Tenka1 Programmer Contest 2019 D Three Colors
- 修改oracle数据库默认时间格式
- 发现IE 9的一个独有的小bug，并附解决方案
- [转载] MATLAB快捷键
- Android学习系列(11)--App列表之拖拽ListView(下)