Hadoop常见错误解决
2024-09-29 01:32:20
1. 通过命令和查看日志文件查看hadoop启动和运行情况
在NameNode端,可以通过
tail -100 /var/log/hadoop/hadoop/hadoop-hadoop-namenode-hadoop-namenode.log
查看NameNode的运行日志
在DataNode端也可以通过
cat /var/log/hadoop/hadoop/hadoop-hadoop-datanode-hadoop-datanode1.log
查看DataNode的运行日志。
通过jps命令分别在datanode和namenode端运行,查看已启动的服务。
2. NameNode不能启动:
Cannot lock storage ……tmp/dfs/name. The directory is already locked.
也许是因为执行hadoop的账号对这个文件夹tmp/dfs/name没有权限。可以使用如下命令解决
chown -R hadoop:hadoop /usr/hadoop
3. DataNode不能启动:
在客户端日志显示 namenode namespaceID = 1713611278; datanode namespaceID = 596511341
这个问题基本上是因为在namenode端多次运行hadoop namenode –format 导致的。在hadoop的core-site.xml文件中(不同的hadoop版本名字会有不同)找到<name>hadoop.tmp.dir</name>,清空对应的文件夹。举例:
[hadoop@hadoop-datanode1 hadoop]$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<!--global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
清空
[hadoop@hadoop-datanode1 tmp]$ rm -rf /usr/hadoop/tmp/*
然后重新启动hadoop,在datanode端用jps看是否datanode已经启动了。
4. 运行wordcount程序时fs找不到文件夹:
Input path does not exist: hdfs://localhost:9000/user/input
在集群环境中,处理的文件都是在hdfs中,所以必须把要处理的文件复制到hadoop 某个文件夹中。下面举例,在fs中新建文件夹,把提前做好的wordcount文件复制带hdfs中,最后运行程序。
[hadoop@hadoop-namenode ~]$ hadoop fs -mkdir /tmp/wordcount/input
[hadoop@hadoop-namenode ~]$ hadoop fs -put /home/hadoop/wordcount/input /tmp/wordcount/input
[hadoop@hadoop-namenode ~]$ hadoop fs -ls /tmp/wordcount/input hadoop jar /home/hadoop/hadoop-examples-1.1.2.jar wordcount /tmp/wordcount/input/input /tmp/wordcount/output
查看结果
hadoop fs -cat /tmp/wordcount/output/part-r-00000
最新文章
- 第4月第2天 nsinvocation崩溃 mvc videotrack
- app启动时间命令
- OGRE的学习资源
- 可以编辑R代码的eclipse插件
- Eclipse的详细安装步骤
- mysql root强密码的必要性max_allowed_packet被改成1024引起的风险
- 使用 Protocol Buffers 代替 JSON 的五个原因
- MVVM知识库总结
- intent.addFlags(Intent.FLAG_ACTIVITY_NO_HISTORY);
- C# 仿迅雷风格选项卡
- Floodlight 启动过程分析
- nodejs 使用mongoose 操作mongodb
- Oracle数据库自带表或者视图
- 性能测试四十一:sql案例之慢sql配置、执行计划和索引
- Mysql Binlog三种格式详细介绍
- 27.移除元素(c++方法实现)
- HDU 2665.Kth number 区间第K小
- PreparedStatement的用法及优点
- USB gadget 驱动 printer.c 分析
- 自定义相机下使用clippingNode注意事项