HDFS集群安装部署

准备环境：

三台centos7虚拟机（Node-1，Node-2，Node-3）
配置虚拟机网络，保证三台机器可以互相ping通，并且和宿主机可以互相ping通。如果仅仅是作为虚拟机学习，可以关闭防火墙，避免后面的RPC端口或者web端口无法正常访问。
创建普通用户dtouding
安装jdk环境。

安装HDFS：

下载hadoop安装包（hadoop-2.8.5.tar.gz），可以直接去官网下载。https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
上传安装包，利用Filezilla或者SercureFX工具将安装包上传到/home/dtouding目录下
解压安装包，解压到/bigdata目录下，该目录已提前创建，并授权给dtouding用户。tar -zxvf hadoop-2.8.5.tar.gz -C /bigdata/

修改配置文件：

vi /bigdata/hadoop-2.8.5/etc/hadoop/hadoop-env.sh
添加：
export JAVA_HOME=/usr/local/jdk1..0_181

vi /bigdata/hadoop-2.8.5/etc/hadoop/core-site.xml

<name>fs.defaultFS</name>

</property>

</configuration>

##指定namenode存储元数据的本地目录：

<name>dfs.namenode.name.dir</name>

<value>/bigdata/hdpdata/name</value>

</property>

##指定datanode软件存放文件块的本地目录

<name>dfs.datanode.data.dir</name>

<value>/bigdata/hdpdata/data</value>

</property>

##指定sencondary namenode

<name>dfs.namenode.secondary.http-address</name>
<value>Node-2:50090</value>

</property>

</configuration>

scp -r hadoop-2.8.5/ Node-2:/bigdata/

scp -r hadoop-2.8.5/ Node-3:/bigdata/

vi /bigdata/hadoop-2.8.5/etc/hadoop/slaves

Node-2

Node-3

初始化namenode的工作目录：

有上述提示代表初始化成功。

启动HDFS：

启动namenode，进入hadoop下的sbin目录，执行命令：./hadoop-daemon.sh start namenode，用jps查看namenode进程是否启动成功。
启动datanode，操作另外两台机器，进入hadoop下的sbin目录，执行命令：./hadoop-daemon.sh start datanode，用jps查看datanode进程是否启动成功
批量启动，进入sbin目录下，执行start-dfs.sh命令

web界面访问：

巴特西