hadoop 调试mapperduce
问题描述
运行hadoop的MapReduce示例，在running job卡住
在页面中显示一直处于
ACCEPTED Applications 状态
修改日志级别
export HADOOP_ROOT_LOGGER=DEBUG,console
查看下详细信息
DEBUG crypto.OpensslCipher: Failed to load OpenSSL Cipher.
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl()Z
at org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl(Native Method)
at org.apache.hadoop.crypto.OpensslCipher.<clinit>(OpensslCipher.java:84)
at org.apache.hadoop.crypto.OpensslAesCtrCryptoCodec.<init>(OpensslAesCtrCryptoCodec.java:50)
缺少一个东西
找到原因了，在使用start-all启动的时候必须每次机器的slave文件都必须配置，结果我两台机器没有配置
[hadoop@mini2 ~]$ cat /home/hadoop/apps/hadoop-2.6.5/etc/hadoop/slaves
localhost
现在有点理解为什么官方都不推荐使用这个启动命令了，错了问题不好调试啊
问题2，namenode一直不能启动，日志报错All specified directories are failed to load.
由于没有配置
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/apps/hadoop-2.6.5/tmp</value>
导致hadoop将tmp文件放在了/tmp里面，
但是我每次清空还是清空hadoop里面的tmp文件
后来仔细看了一下hadoop name -format时说明的tmp路径，这就是为什么说All specified directories are failed to load. ，原来每次都没有清空文件
下面是重新配置之后的路径
Storage directory /home/hadoop/apps/hadoop-2.6.5/tmp/dfs/name has been successfully formatted.
最新文章
- 在Ubuntu13.04中配置Jexus+Mono3.2运行Asp.Net Mvc 4站点 (一)
- MFC 创建XML
- 【解题报告】[动态规划] RQNOJ PID5 / 能量项链
- 实例源码--Android高德地图实例源码
- leetcode之Rectangle Area
- JavaScript中的Function类型浅析
- js页面加载事件
- python的map()函数
- MPICH3环境配置
- 修饰模式（Decorator结构化）C#简单的例子
- C++ 简史
- Netty（一）：入门篇
- C# .Net String字符串效率提高-字符串拼接
- ELK日志分析平台系统CentOS7环境搭建和基本使用
- 《Android进阶之光》--事件总线
- Verilog HDL语言实现的单周期CPU设计（全部代码及其注释）
- Linux学习笔记之Linux环境变量总结
- Codeforces Round #298 (Div. 2) A. Exam 构造
- 自己动手写CPU之第九阶段（2）——载入存储指令说明2（lwl、lwr）
- 利用MVC模式简单设计jsp分页效果