1、JDK的安装

2、配置hosts文件(这个也要拷贝给所有slave机,scp /etc/hosts root@slave1:/etc/hosts)
gedit /etc/hosts

添加:

122.205.135.211 master

122.205.135.212 slave1

122.205.135.213 slave2

3、SSH无密码登录(见另一章)
4、Hadoop的安装与配置
(1)下载Hadoop
  官网下载
(2)配置Hadoop
  1>修改hadoop-2.6.5/etc/hadoop/hadoop-env.sh,添加JDK支持:(注意这里必须用绝对路径,不能用${JAVA_HOME})

    export JAVA_HOME=/usr/jdk/jdk1.8.0_121

  2>修改hadoop-2.6.5/etc/hadoop/core-site.xml

  添加:

  <configuration>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/tmp</value>
  </property>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://Master:9000</value>
  </property>
  </configuration>

  3>修改hadoop-2.6.5/etc/hadoop/hdfs-site.xml

  添加:
  <configuration>
  <property>
  <name>dfs.http.address</name>
  <value>Master:50070</value>
  </property>
  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>Master:50090</value>
  </property>
  <property>
  <name>dfs.replication</name>
  <value>2</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/dfs/name</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/dfs/data</value>
  </property>
  </configuration>

  4>修改hadoop-2.6.0/etc/hadoop/mapred-site.xml(原先文件名为mapred-site.xml.templete,将其改为现在文件名)

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

  5>修改hadoop-2.6.5/etc/hadoop/slaves 添加所有datanode的机器名

    slave1
    slave2

  6>将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上

    以slave1为例:命令如下:

    scp -r  ~/hadoop-2.6.5 root@slave1:~(具体目录具体定)

  7>配置master上的profile文件
     gedit /etc/profile 
    添加:
#JAVA_HOME

JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
JRE_HOME=JAVA_HOME/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME JRE_HOME CLASSPATH #HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
#choice----
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  8>将配置文件拷贝到所有的slave结点上

    以slave1为例:命令如下:

    scp /etc/profile root@slave1:/etc/profile

5.启动Hadoop

1>格式化HDFS文件系统的namenode

  (这里要进入hadoop-2.6.5目录来格式化):

  cd hadoop-2.6.5  //进入hadoop-2.6.5目录

  bin/hdfs namenode -format  //格式化(特别注意:这个只能格式化一次,否则会出很多问题)

2>启动Hadoop集群
  启动hdrs命令如下:

  sbin/start-dfs.sh //开启进程

  补充,关闭hdfs集群的命令如下:sbin/stop-dfs.sh(每次启动完必须关)

  开启yarn:sbin/start-yarn.sh

    补充:之后开启就直接用sbin/start-all.sh 来代替上面两个开启项,关闭用sbin/stop-all.sh

6.查看是否成功

  通过网页来看是否正常安装与配置,地址如下:http://master:50070/; http://master:8088;

最新文章

  1. iOS开发--面试
  2. PJAX初体验(主要是利用HTML5 新增API pushState和replaceState+AJAX)
  3. hibernate基础dao类
  4. redis使用watch完成秒杀抢购功能
  5. php实现注册
  6. Wince下sqlce数据库开发(二)
  7. 与你相遇好幸运,My Toolkit of Nodejs
  8. PDF 补丁丁 0.4.2.1013 测试版发布:修复替换PDF文档字体等问题
  9. JS BOM知识整理
  10. 最简单的CRC32源码-逐BYTE法
  11. [转]JavaScript 的同源策略
  12. Mybatis.net与MVC入门配置及联合查询动态SQL拼接和简单事务
  13. mysql jdbc 查询连接问题
  14. flex chrome浏览器调试flex程序
  15. java多线程(二)-Runnable和Thread
  16. iOS开源加密相册Agony的实现(三)
  17. 【Java基础】【16List集合】
  18. webstorm2017.3最新激活教程(激活码、注册码)亲测成功
  19. vim查找格式
  20. java微信分享

热门文章

  1. Net dll版本兼容问题
  2. 深入Asyncio(五)Event Loop
  3. grep命令:查看配置文件未注释行(转)
  4. windows 2008配置运行PHP5.5.X
  5. RTSP转RTMP-HLS网页无插件视频直播-EasyNVR功能介绍-音频开启
  6. Vue中表单校验
  7. BZOJ4944: [Noi2017]泳池
  8. 基础学习笔记之opencv(6):实现将图片生成视频
  9. react-navigation遇到的坑
  10. JDK动态proxy原理解析