hadoop2.7.2集群搭建

1.修改hadoop中的配置文件

进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录，修改hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml ，yarn-site.xml，slaves等文件

1.1 core-site.xml文件

<configuration>

  <!--指定hadoop运行时产生文件的存储目录-->

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

  </property>

  <!--配置HDFS中NameNode的地址-->

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/src/hadoop-2.7.2/tmp</value>

  </property>

</configuration>

1.2 hadoop-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.3 hdfs-site.xml文件

<configuration>

    <!-- 设置hdfs副本数量 -->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <!-- 设置secondarynamenode的http通讯地址 -->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>slave2:50090</value>

    </property>

    <!-- 设置namenode的http通讯地址 -->

    <property>

        <name>dfs.namenode.http-address</name>

        <value>master:50070</value>

    </property>

    <!-- 设置namenode存放的路径 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/usr/local/src/hadoop-2.7.2/name</value>

    </property>

    <!-- 设置datanode存放的路径 -->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/usr/local/src/hadoop-2.7.2/data</value>

    </property>

</configuration>

1.4 mapred-site.xml文件

<configuration>

    <!-- 通知框架MR使用YARN -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

1.5 mapred-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.6 yarn-site.xml文件

<configuration>

    <!-- 设置 resourcemanager 在哪个节点-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>slave1</value>

    </property>

    <!-- reducer取数据的方式是mapreduce_shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

1.7 yarn-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.8 slaves文件

将集群中的服务器节点的hostname写入该文件中

  • master
  • slave1
  • slave2

最新文章

  1. [.net 面向对象程序设计进阶] (13) 序列化(Serialization)(五) Json 序列化利器 Newtonsoft.Json 及 通用Json类
  2. mac os安装基本的install环境，命令行安装软件
  3. emacs notepad notepad++ 撤销比较
  4. Android Studio 单刷《第一行代码》系列 02 —— 日志工具 LogCat
  5. 服务器NPC的ID如何分配的
  6. 【Delphi】最小化事件捕捉
  7. Leetcode#78 Subsets
  8. winform中设置FormBorderStyle为None后点击任务栏自动最小化实现
  9. C 语言链表操作例程 （待完善）
  10. android之ArrayAdapter的重写
  11. RFID标签天线的三种制作方法
  12. MySQL保留关键字
  13. eclipse - The superclass &quot;javax.servlet.http.HttpServlet&quot; was not found on the Java
  14. Win7下安装composer, 并使用其安装smarty
  15. C# 截取两个指定字符串中间的字符串列表
  16. js 判断 是否在当前页面 当前页面是否在前端
  17. Python作业之分页显示内容
  18. 关卡得分（if 嵌套for）与（for嵌套if）
  19. finecms如何控制调用子栏目的数量
  20. 有道词典翻译（携带请求头和post参数请求）

热门文章

  1. php导出cvs xls xlsx
  2. idea打jar包经验总结
  3. Wi-Fi
  4. scrum3
  5. python入门23 pymssql模块（python连接sql server增删改数据 ）
  6. hdu-1452 Happy 2004---因子和+逆元
  7. 【洛谷5294】[HNOI2019] 序列（主席树维护单调栈+二分）
  8. winform 实现彩票功能
  9. java线程池系列(1)-ThreadPoolExecutor实现原理
  10. [luoguP1443]马的遍历