Hadoop HDFS环境搭建

1，首先安装JDK，下面如果JDK出现安装错误，可以卸载

卸载
1、卸载用 bin文件安装的JDK方法：
     删除/usr/java目录下的所有东西

2、卸载系统自带的jdk版本方法：
查看自带的jdk：
#rpm -qa | grep gcj
看到如下信息：
libgcj-4.1.2-44.el5
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
使用rpm -e --nodeps 命令删除上面查找的内容：
#rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

3、卸载rpm安装的jkd版本
查看安装的jdk：
#rpm -qa|grep jdk
看到如下信息：
java-1.6.0-openjdk-1.6.0.0-0.25.b09.el5
jdk-1.6.0_16-fcs
卸载：
#rpm -e --nodeps jdk-1.6.0_16-fcs卸载自己安装的jdk命令如下:例如: yum -y remove /usr/local/bigdata/jdk/jdk1.7.0_51

安装就是解压 .tar.gz的压缩包
修改文件 /etc/profile如图:

2,配置SSH

命令:ssh-keygen -t rsa

如果出现权限或者路径不认识，找不到该命令用这个，路径出错了。
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

vi /etc/sysconfig/network 设置主机

如果是localhost.localdomain,就请修改为localhost，如果不改遇到报错：找不到server服务器，就是找不到主机名,nameNode启动不了，

就使用命令 vi /etc/hosts,如下配置:虚拟机IP nameNode

3,安装Hadoop

chmod -R 777 hadoop 改变hadoop文件夹的权限

视你的机器hadoop版本定，可能会去掉sudo

4,修改环境变量

不要忘记了最后一步，生效:source .bashrc

5,配置文件

参考页面:http://blog.csdn.net/greensurfer/article/details/39450369core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

分别在文件hadoop-env.sh和yarn-env.sh中添加JAVA_HOME配置

vi hadoop-env.sh

vi yarn-env.sh

格式化文件系统

bin/hdfs namenode -format

[hezhenhong@localhost bin]$ ./hadoop namenode -format

6,启动

7，jps

8,web 访问

http://192.168.1.131:50070

到此Hadoop的配置讲解完毕

巴特西

Hadoop HDFS环境搭建

mapred-site.xml

yarn-site.xml

格式化文件系统

最新文章

热门文章