Linux中Hadoop的安装与配置

一、准备

1，配通网络 ping www.baidu.com

之前安装虚拟机时配过

2，关闭防火墙

systemctl stop firewalld

systemctl disable firewalld（开机自动关闭）

3，关闭 selinux

vi /etc/selinux/config

修改为selinux disabled

4，关闭 NetworkManager

systemctl stop NetworkManager

systemctl disable NetworkManager

5，修改计算机名 hadp01(根据个人喜好)

6，配置yum源

安装 yum install wget

做个备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

运行 yum makecache 生成缓存

7，备份，做个快照

二、Hadoop的安装与配置

1，下载hadoop

https://dist.apache.org/repos/dist/release/hadoop/common/

2，先创建几个目录

mkdir

/opt/install 上传

/opt/software 安装

/opt/other 其他

/opt/test 测试

a.上传 rz

解压 tar -zxvf jdk-8u181-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz

jdk：

               cd /opt/install   #进入安装包目录

               rz   jdk-8u181-linux-x64.tar.gz   #上传JDK

               tar   -zxvf   jdk-8u181-linux-x64.tar.gz  #解压JDK

               mv  jdk1.8.0_181   ../software/jdk1.8   #移动到/opt/software目录

               Hadoop：

               cd  /opt/installed      #进入/opt/installed目录

               rz  hadoop-2.7.7.tar.gz   #上传hadoop2.7.7版本

               mv  hadoop-2.7.7.tar.gz  ../software/hadoop-2.7.7  #移动到software目录

   b.移动到安装目录中software   mv jdk1.8 ../software

                               mv hadoop-2.7.7  ../software

   c.配置环境变量

                  vim /etc/profile #编辑环境变量

                  JAVA_HOME=/opt/software/jdk1.8

                  HADOOP_HOME=opt/software/hadoop-2.7.7

                  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin

                  source /etc/profile   #使环境变量生效

                  测试 是否配置成功 echo  $PATH

3，伪分布式

A，修改主机名 vim /etc/hostname #编辑主机名文件

hadp01

B,修改主机映射

vim /etc/hosts #编辑主机映射文件

192.168.1.63（IP） hadp01（主机名）

C,实现ssh免密码登录

ssh-keygen #生成密钥对

ssh-copy-id hdp01 #将公钥拷贝给本机

ssh-copy-id hdp02 #将公钥拷贝给其他机

再回车一下会出来一个图形就OK了，重启

D,修改/opt/software/hadoop-2.7.7/etc/hadoop目录内的一系列文件

1.hadoop-env.sh

cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录

       vim etc/hadoop/hadoop-env.sh        #编辑配置文件hadoop-env.sh

       export JAVA_HOME=/opt/software/jdk1.8  #修改25行

       export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

    2.core-site.xml

       <configuration>

       <!-- 指定HDFS中NameNode的地址 -->

       <property>

            <name>fs.defaultFS</name>

            <value>hdfs://主机名:9000</value>

       </property>

       <!-- 指定hadoop运行时产生文件的存储目录 -->

       <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/software/hadoop-2.7.7/tmp</value>

       </property>

      </configuration>

   3.hdfs-site.xml

       <configuration>

        <!-- 指定HDFS副本的数量 -->

         <property>

             <name>dfs.replication</name>

             <value>1</value>

         </property>  

         <property>

             <name>dfs.permissions</name>

             <value>false</value>

         </property>

        </configuration>

   4.mapred-site.xml

       <!-- 指定mr运行在yarn上 -->

        <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

        </property>

   5.yarn-site.xml

        <!-- 指定YARN的ResourceManager的地址 -->

         <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>主机名</value>

         </property>

        <!-- reducer获取数据的方式 -->

         <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

         </property>

 E，修改slaves文件

    vim etc/hadoop/slaves

    将里面的localhost删除 改为hadp01

 F,格式化文件系统

    hadoop namenode  -format

 G,启动Hadoop

   start-all.sh 全部启动

   stop-all.sh  全部关闭

 H，测试Hadoop

   http://主机IP:port/

   NameNode web工程 端口号：50070

　　 DataNode web工程端口号：50075

　　 SecondaryNameNode web工程端口号：50090

　　 ResourceManager web工程端口号：8088

巴特西

Linux中Hadoop的安装与配置

最新文章

热门文章