hadoop-1.2.1分布式配置启动问题
关键配置(core-site.xml 和hdfs-site.xml)(这里只是针对与HDFS,没有启动MapReduce):
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qzhong:8000</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/qzhong/hadoopnamedir</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/qzhong/hadoopdatadir</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.http.address</name>
<value>qzhong:50070</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>node27:50090</value>
</property>
</configuration>
slaves:
node27
node100
node101
qzhong
masters:
node27
总体下来:namenode:qzhong secondarynamenode:node27 datanode:qzhong node27 node100 node101
其中过程中会遇到的问题:
如果仅仅使用jps命令还有未发现的错误,比如secondarynamenode使用jps命令可以看到secondarynamenode启动,但是有问题(通过观看日志文件),需要设置http地址和端口,这样secondarynamenode才能正常使用
总体下来在配置hadoop启动过程中会遇到的问题及排解方法:
1、首先使用jps命令查看是否相关进程已经启动,如果没有启动查看日志文件,根据具体问题具体排查错误
2、当jps命令显示所有相关进程都已经启动完成,这时并不意味着hadoop启动就是正常,需要再次查看日志文件,看相关进程的启动情况,如果没有什么问题,这时系统hadoop才算运行正常
3、在运行的过程中,hadoop可能会有其他问题,这时需要不断的查看日志文件分析错误来源,进一步了解问题来源从而正确处理问题,没有统一的处理问题的方式(会看日志文件是必须的)
最新文章
- Code First开发系列之管理并发和事务
- linux 安装 apache2.2.31
- 新手须知 C、C++和VC++之间的区别
- ArrayList笔记
- jquery 提示简单效果插件 cluetip
- SSH-KEY服务及批量分发与管理实战
- ENVI中利用polygon掩膜修改类到指定类
- MyEclipse 10.x中拓展自动提示功能
- 车祸 shit
- iOS-Runtime机制详解
- 团队作业8——第二次项目冲刺(Beta阶段)--第六天
- C语言函数嵌套调用作业总结
- HTML学习笔记7:图片与超链接
- vim : 依赖: vim-common (= 2:7.3.429-2ubuntu2) 但是 2:7.3.429-2ubuntu2.1 正要被安装
- Android 音视频开发(二):使用 AudioRecord 采集音频PCM并保存到文件
- HTML基础之HTML标签-html header(meta,title) html body(p,br,h,form,div,span,input,lable)
- system 系统调用、gcc编译过程
- 如何将Spring Boot项目打包部署到外部Tomcat
- MyBtis—原理及初始化
- perl: warning: Setting locale failed.
热门文章
- vim命令“=”、“d”、“y”的用法(结合光标移动命令,一些场合会非常方便)
- Effective C++ .13使用智能指针来引用资源
- “没有用var声明的为全局变量”这种说法不准确
- 无法远程访问Mysql的解决方案
- Linux基础之-网络配置,主机名设置,ssh登陆,scp传输
- PHP-Gealman
- QT写hello world 以及信号槽机制
- XML布局之路
- ESXi中的虚拟机如何使用U盘和加密Key
- 文本处理三剑客之 Sed ——一般编辑命令