Hadoop多节点Cluster

Hadoop多节点集群规划

服务起名称	内网IP	HDFS	YARN
master	192.168.1.155	NameNode	ResourceManager
slave1	192.168.1.116	DataNode	NodeManager
slave2	192.168.1.117	DataNode	NodeManager
slave3	192.168.1.118	DataNode	NodeManager

1. Slave1机器配置
1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址（修改/etc/sysconfig/network-scripts/ifcfg-ens33)

　　 DEVICE="ens33"
HWADDR="00:0C:29:30:BB:7E"
　　 Type="Ethernet"
　　 BOOTPROTO="static"
　　 IPADDR=192.168.1.156
　　 GATEWAY=192.168.1.1
　　 NETMASK=255.255.255.0
　　 ONBOOT="yes"
1.2 修改机器名为Slave1（/etc/hostname）
1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1

192.168.1.155 master
　　 192.168.1.156 slave1
　　 192.168.1.157 slave2
　　 192.168.1.157 slave3

1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000
1.5 编辑.../..../yarn-site.xml,添加额外的3个property（nodemanager->resourcemanager, application-master->resourcemanager, client->resourcemanager）

　　 <property>
　　　　 <name>yarn.resourcemanager.resource-tracker.address</name>
　　　　 <value>master:8025</value>
　　　 </property>
<property>
　　　　<name>yarn.resourcemanager.scheduler.address</name>
　　　 <value>master:8030</value>
　　 </property>
　　 <property>
　　　　 <name>yarn.resourcemanager.address</name>
　　　　 <value>master:8050</value>
　　 </property>
1.6 编辑mapred-site.xml,添加

<property>
<name>mapred.job.tracker</name>
　　　　 <value>master:54331</value>
　　 </property>
1.7 编辑hdfs-site.xml, slave1为datanode，所以设置data dir

<property>
　　　　 <name>dfs.datanode.data.dir</name>
　　　　 <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
　　 </property>

2. Slave2机器配置
2.1 以Slave1机器为模板，复制出新的VM，然后修改固定IP及MAC

　　　DEVICE="ens33"
HWADDR="00:0C:29:51:C4:45"
　　 Type="Ethernet"
　　 BOOTPROTO="static"
　　 PADDR=192.168.1.157
　　 GATEWAY=192.168.1.1
　　 NETMASK=255.255.255.0
　　 ONBOOT="yes"

2.2 修改机器名为Slave2(/etc/hostname)

2.3 修改/etc/hosts，将127.0.0.1映射到slave2

3. Slave3机器配置
3.1 以Slave1机器为模板，复制出新的VM，然后修改固定IP及MAC

　　 DEVICE="ens33"
　　 HWADDR="00:0C:29:BE:C6:0C"
　　 Type="Ethernet"
　　 BOOTPROTO="static"
　　 IPADDR=192.168.1.158
　　 GATEWAY=192.168.1.1
　　 NETMASK=255.255.255.0
　　 ONBOOT="yes"

3.2 修改机器名为Slave3(/etc/hostname)

3.3 修改/etc/hosts，将127.0.0.1映射到slave3

4. Master机器配置
4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir

　　 <property>
　　　　 <name>dfs.namenode.name.dir</name>
　　　　 <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
　　 </property>

4.4 设置yarn-site.xml

　　　<property>
　　　　 <name>yarn.resourcemanager.resource-tracker.address</name>
　　　　 <value>master:8025</value>
　　 </property>
　　 <property>
　　　　<name>yarn.resourcemanager.scheduler.address</name>
　　　　 <value>master:8030</value>
　　　</property>
　　 <property>
　　　　 <name>yarn.resourcemanager.address</name>
　　　 <value>master:8050</value>
　　　</property>

4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master
4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为
slave1
slave2
slave3
4.5 ssh到3台slaves机器，创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode
4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode
4.7 格式化NameNode HDFS目录(hdfs namenode -format)，注意：首次格式化时使用
4.8 启动多节点Hadoop Cluster
start-dfs.sh
start-yarn.sh
4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)
4.10 关闭多节点Hadoop Cluster
stop-dfs.sh
stop-yarn.sh

其他：删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33

巴特西

Hadoop多节点Cluster

最新文章

热门文章