大数据学习笔记01-HDFS-集群安装

安装

下载 Hadoop，以2.7.5版本为例
在虚拟机上创建目录bigdata，即执行mkdir bigdata
上传到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)
解压：tar -zxvf ~/bigdata/hadoop-2.7.5.tar.gz

修改配置文件

修改core-site.xml

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9999</value>

	<description>表示HDFS的基本路径</description>

</property>

</configuration>

修改hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name> 

                <value>1</value>

	      <description>表示数据块的备份数量，不能大于DataNode的数量</description>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>/home/hadoop-twq/bigdata/dfs/name</value>

                <description>表示NameNode需要存储数据的地方</description>

        </property>

 

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>/home/hadoop-twq/bigdata/dfs/data</value>

                <description>DataNode存放数据的地方</description>

        </property>

</configuration>

在master上创建创建nameNode和dataNode需要的文件目录

mkdir -p ~/bigdata/dfs/name

mkdir -p ~/bigdata/dfs/data

修改hadoop-env.sh

在hadoop-env.sh中添加JAVA_HOME： export JAVA_HOME=/usr/local/lib/jdk1.8.0_161

配置slaves

修改~/bigdata/hadoop-2.7.5/etc/hadoop/slaves,在slaves文件中写入如下内容:

slave1

slave2

在slave1和slave2节点中的hadoop-twq用户下的主目录下创建bigdata目录:

即执行mkdir bigdata

将master上配置好的hadoop分发到每一个slave上

scp -r ~/bigdata/dfs hadoop-twq@slave1:~/bigdata

scp -r ~/bigdata/dfs hadoop-twq@slave2:~/bigdata

scp -r ~/bigdata/hadoop-2.7.5 hadoop-twq@slave1:~/bigdata

scp -r ~/bigdata/hadoop-2.7.5 hadoop-twq@slave2:~/bigdata

配置环境变量

vi ~/.bash_profile：

export HADOOP_HOME=~/bigdata/hadoop-2.7.5

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bash_profile

which hdfs

看看输出是否是：~/bigdata/hadoop-2.7.5/bin/hdfs

如果不是可能需要退出xshell，重新登录

运行hdfs

格式化： hdfs namenode -format
启动hdfs: 运行start-dfs.sh
http://master:50070看下是否部署成功（master是域名映射，指向安装hadoop主机的ip）
停止hdfs: 运行stop-dfs.sh

巴特西