Hadoop全分布式模式安装

一、准备

1、准备至少三台linux服务器，并安装JDK

关闭防火墙如下

systemctl stop firewalld.service
systemctl disable firewalld.service

2、使用xshell工具，连接三台机器上，同时输入命令操作三台机器，只要如图勾选上即可

1）配置域名与Ip映射关系 vi /etc/hosts

2）配置免密登陆，需每台机器上都生成密钥对，将各自的公钥传输到其他机器上

输入命令：ssh-keygen -t rsa 回车生成密钥对

ssh-copy-id -i .ssh/id_rsa.pub root@bidata112

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata113

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata114

3）保证集群的时间同步

date -s 小时:分钟

二、在主节点上安装hadoop （bigdata112）

1、上传并解压hadoop

2、配置/etc/hadoop下的几个文件，hadoop-env.sh，

export JAVA_HOME=/root/training/jdk1.8.0_144

3、hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

4、core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata112:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

5、mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

6、yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata112</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

7、slaves 配置从节点地址

bigdata113
bigdata114

8、对namenode进行格式化

hdfs namenode -format

出现红色部分表示格式化成功

三、把安装好的hadoop复制到从节点

scp -r hadoop-2.7.3/ root@bigdata113:/root/training
scp -r hadoop-2.7.3/ root@bigdata114:/root/training

四、在主节点上启动集群

start-all.sh

到此全分布式模式安装结束，并能成功启动服务

巴特西

Hadoop全分布式模式安装

最新文章

热门文章