centos6.5搭建hadoop单节点

1.添加用户

groupadd hadoop

useradd -d /home/hadoop -m hadoop -g hadoop

passwd hadoop 修改密码

付给用户sudo权限

vi /etc/sudoers

在root ALL=(ALL) ALL下面添加

hadoop ALL=(ALL) NOPASSWD:ALL

2.安装jdk

2.1.官网下载地址下载rpm包

2.2 上传到服务器中，安装

sudo rpm -ivh jdk-8u144-linux-x64.rpm

2.3 配置环境变量

vi ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

3.安装hadoop

3.1.下载

下载地址：http://hadoop.apache.org/releases.html

选择要安装的版本，选择binary

3.2 上传

3.3 解压

tar -zxvf hadoop-2.8.1.tar.gz -C /opt/hadoop #我这里解压到家目录

3.4 修改 etc/hadoop/hadoop-env.sh 文件

设置java的环境变量

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.8.0_144

3.5修改 etc/hadoop/core-site.xml 文件

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

3.6 设置免密钥登录

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  $ chmod  ~/.ssh/authorized_keys

3.7 格式化文件系统

 $ bin/hdfs namenode -format

3.8 运行第一个hadoop程序

 $ sbin/start-dfs.sh  #启动dfs

  $ bin/hdfs dfs -mkdir /user   #dfs上创建/user目录

  $ bin/hdfs dfs -mkdir /user/hadoop #dfs上创建/user/hadoop目录

  $ bin/hdfs dfs -mkdir input   #dfs上创建/user/hadoop/input目录

  $ bin/hdfs dfs -put etc/hadoop/*.xml input #将etc/hadoop目录下的xml文件放到dfs上的/user/hadoop/input下

  $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount input output 
　#运行hadoop提供的jar包下的wordcount程序 输入路径为/user/hadoop/input 输出路径为/user/hadoop/output

  $ bin/hdfs dfs -get output output  #将dfs的output目录复制到当前目录的output

  $ cat output/*  #查看wrodcount执行的结果

  $ sbin/stop-dfs.sh  #关闭dfs系统

3.9 Enjoy

巴特西

centos6.5搭建hadoop单节点

最新文章

热门文章