hadoop2.2.0安装需要注意的事情
今天在安装hadoop2.2.0时遇到若干问题,解决这些问题有些心得,记录下来以备不时之需。
问题1、master和slave之间不能相互ssh免密码登陆。
问题表象此处略过,直接说解决办法:
1、查看.ssh 目录权限是否正确。700、600 经测试都没有问题。
2、查看.ssh 目录里面文件权限是否正确。最好600.因为ssh服务需要保证此部分文件不能有篡改的风险。
3、删除id_rsa.pub文件,因为ssh登陆到对端时,对端若存在id_rsa.pub文件,则优先使用这个文件进行公钥验证,而不会使用authorized_keys文件里面保存的公钥。
4、确保/etc/hosts文件里面主机名和IP地址设置正确
5、最好把master的authorized_keys文件scp到其他salve节点中。不要文本黏贴复制,容易出错并且不好检查原因。
以上就是今天遇到的ssh不能登录的原因。
问题2、启动namenode时报错,日志显示端口已被绑定。
1、重点检查core-site.xml 、 hdfs-site.xml 、hdfs-site.xml 和yarn-site.xml 四个文件里面是否有端口服用的情况。
2、使用netstat -anl|grep 端口号 检查是否有其他进程占用此端口
问题3、执行job任务时,job状态为pending状态,不执行。
出现job挂起的情况,则表明hadoop集群未成功启动,至少有一些模块没有正常启动。首先检查master和slave各节点服务是否正常。
master正常情况存在:NameNode、SecondaryNameNode、ResourceManager
slave正常情况存在:DataNode、NodeManager
如果节点服务不正常,则在$HADOOP_HOME/logs里面检查日志中是否有报错。
问题4、slave节点启动nodeManager显示连接master节点RM报错。
首先在master检测端口是否启动。如果没有启动,则在logs目录里面检查是否有报错日志。
如果master里面端口启动了,那么在slave节点中telnet masterIP Port,看是否可以连通。(此步骤用来确定master绑定的IP和Port是否正确。)
如果telnet不同,那么检查一下master的/etc/hosts里面的127.0.0.1是否也指定为主机名了,因为操作系统会首先使用第一个主机名所对应的IP地址。(如果正式环境中各节点IP和主机名不会频繁变化,那么还是在配置文件中直接指定IP地址吧)
今天遇到的问题就是上述三个原因,也可能还有其他原因引起此种情况,但没有遇到。
问题5、job在run时,报JAVA异常,UnknownHostException:XXX 。
需要看一下这个错误是哪台节点报出来的。今天遇到的都是master报出来的。开始以为是master连接不上对应节点,导致排查方向出错。后来才搞清楚,slave节点报错也会显示在master。因此master报错不一定表示是master节点的问题,也有可能是某一台slave节点的问题。
问题原因是slave1的/etc/hosts没有配置slave2的主机名,导致两台slave再通讯时异常,配置/etc/hosts后恢复正常。
最新文章
- track message forwards, avoiding request loops, and identifying the protocol capabilities of all senders along the request/response chain
- PC管理端与评委云打分配合步骤及疑难问题汇编,即如何使用PC管理端的云服务管理功能
- 敏捷开发方法-Scrum
- android values目录的读取优先级
- 网络编程3-URL编程(URL)
- [Cocos2d-x For WP8]矩形碰撞检测
- mysql插入数据后返回自增ID的方法
- python 函数可变长参数
- SocketTcpClient
- [USACO2003][poj2185]Milking Grid(kmp的next的应用)
- 40个Java集合面试问题和答案【下】【转载】
- 【学习笔记】【oc】指针
- 向Int数组插入随机1到100
- PhoneGap开发环境搭建
- PHP面试和PHP开发者都应掌握的10个问题
- 关于使用python ~取反操作符带出的一系列问题
- Vue单元测试Karma+Mocha
- Unity最新版打包AssetBundle和加载的方法
- HTML5标签canvas图像处理
- ZK Leader选举
热门文章
- 在windows上一键编译各种版本的protobuf(2017-12-05修改)
- Import CSV into DB using SSIS
- Deferred Shader GBuffer 感性认识。。。
- int a[3];中a+1与&;amp;a+1差别 -- C
- 【BZOJ4008】【HNOI2015】亚瑟王 概率DP
- Hibernate学习之单向多对一映射
- Hibernate学习之类级别注解
- web开发中的路径问题
- php优化(php.ini)
- oracle中的minus数据比对