Hadoop集群搭建-Hadoop2.8.0安装(三)
一、准备安装介质
a)、hadoop-2.8.0.tar
b)、jdk-7u71-linux-x64.tar
二、节点部署图
三、安装步骤
环境介绍：
主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager
从服务器ip：192.168.80.129(slave1) DataNode NodeManager
从服务器ip: 192.168.80.130(slave2) DataNode NodeManager
1、在三台机器上配置服务器域名
192.168.80.128 master
192.168.80.129 slave1
192.168.80.130 slave2
2、注意:关闭防火墙
systemctl stop firewalld.service #停止
firewall systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
3.上传安装包
1）JDK安装包 jdk-7u71-linux-x64.tar.gz
2）hadoop安装包 hadoop-2.8.0.tar.gz
4.安装JDK
1)解压JDK tar -zxvf jdk-7u71-linux-x64.tar.gz
5)配置环境变量 vi /etc/profile
6)在文件最后加入JDK配置
JAVA_HOME=/home/hadoop/jdk1.7.0_71
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
7）退出当前用户，重新登录，检查JDK安装是否成功 java -version
8)按照以上操作，重复安装其他两台机器
9、安装Hadoop
1）解压Hadoop tar -zxvf hadoop-2.8.0.tar.gz
2)配置环境变量 vi /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4)退出当前用户，重新登录，检查Hadoop安装是否成功 hadoop version
5)进入/home/hadoop/hadoop-2.8.0/etc/hadoop目录
6)打开hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件
export JAVA_HOME=/home/hadoop/jdk1.7.0_71
10)配置hadoop-2.8.0/etc/hadoop/slaves文件，增加slave主机名
slave1
slave2
11)配置hadoop-2.8.0/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenyun/hadoop/tmp</value>
</property>
</configuration>
12)配置hadoop-2.8.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定namenode数据存放临时目录,自行创建 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/chenyun/hadoop/hdfs/name</value>
</property>
<!-- 指定datanode数据存放临时目录,自行创建 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/chenyun/hadoop/hdfs/data</value>
</property>
</configuration>
13)配置hadoop-2.8.0/etc/hadoop/yarn-site.xml <configuration>
<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
14)配置hadoop-2.8.0/etc/hadoop/mapred-site.xml
注意： 因为默认没有mapred-site.xml，所以先要复制一份，shell命令如下：
cp mapred-site.xml.template mapred-site.xml
然后在mapred-site.xml加入以下配置
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
15)把配置好的文件，复制到从节点
scp -r hadoop root@slave1:/home/hadoop/hadoop-2.8.0/etc
scp -r hadoop root@slave2:/home/hadoop/hadoop-2.8.0/etc
注意:同时需要把文件夹也要给拷贝过去
scp -r hadoop root@slave1:/home/chenyun/
scp -r hadoop root@slave2:/home/chenyun/
16)格式化节点
cd hadoop-2.8.0/sbin
hdfs namenode -format
17)hadoop集群全部启动
cd hadoop-2.8.0/sbin
./start-all.sh
18)启动JobHistoryServer 备注(查看MapReduce历史执行记录，和hadoop关系不大，可忽略此步骤)
cd hadoop-2.8.0/sbin
./mr-jobhistory-daemon.sh start historyserver
19)查看启动进程是否正常
在master节点输入 jps命令，将会显示以下进程：
3458 Jps
3150 SecondaryNameNode
2939 NameNode
3364 ResourceManager
在slave1、slave2上输入jps命名，将会显示以下进程：
2969 NodeManager
3191 Jps
2801 DataNode
如果进程不正常的话，进入hadoop-2.8.0/logs查看异常日志
master节点
1、hadoop-2.8.0/logs/hadoop-root-namenode-master.log #namenode日志
2、hadoop-root-secondarynamenode-master.log #SecondaryNameNode日志
3、yarn-root-resourcemanager-master.log #ResourceManager日志
slave1、slave2节日
4、hadoop-root-datanode-slave1.log #DataNode日志
5、yarn-root-nodemanager-slave1.log #NodeManager日志
20）通过web UI访问
hadoop http://192.168.80.128:50070 #整个集群
http://192.168.80.128:50090 #SecondaryNameNode的情况
http://192.168.80.128:8088 #resourcemanager的情况
http://192.168.80.128:19888 #historyserver(MapReduce历史运行情况)
注意：
如果master节点一直没有namenode进程的话，集群可以分开启动
1）启动namenode：sbin/hadoop-daemon.sh start namenode
2）sbin/hadoop-daemon.sh start datanode
最新文章
- 使用EF取数据库返回的数据
- Socket网络编程--FTP客户端
- BIEE 11g学习
- P2320 [HNOI2006]鬼谷子的钱袋
- [CLR via C#]10. 属性
- 说说Thread.Sleep(0)的那些奇怪的事
- iOS创建UUID
- ASP.NET在主题中添加CSS文件
- Microsoft SQL Server 管理 （常用管理及维护命令）
- web报告工具FineReport在使用方法和解决方案常见错误遇到（一）
- Caused by: The Result type [json] which is defined in the Result annotation on the class
- Android 开发使用第三方库出现Crash时处理方案汇总
- 「Mobile Testing Summit China 2017」第三届中国移动互联网测试开发大会-讲师征集
- 广师大python学习笔记求派的值
- Python3基础 dict 推导式 生成10以内+奇数的值为True 偶数为False的字典
- 使用代数方程库 Algebra.js解二元一次方程
- kubernetes 资源请求和限制
- 如何使用Python对Instagram进行数据分析？
- cmake-mark_as_advanced
- 安装python包时遇到"error: Microsoft Visual C++ 9.0 is required"的简答