简介

hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker,而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN,是一次革命性的变化。

配置

前面的文章中,我们配置了hadoop2集群的HA高可靠,下面紧接上前面的配置,设置MapReduce的配置信息,也是最简单最容易上手的。

修改文件yarn-site.xml,内容如下

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value>
  </property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

其中,名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置;名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle,一定要看清楚。

修改mapred-site.xml,内容如下

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

其中,名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

启动了HDFS之后,就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。

关于hadoop2的其他配置文章,欢迎持续关注我的文章

最新文章

  1. 使用AIDL调用远程服务设置系统时间
  2. 为了方便可灌入自定义方法AppendLog 比如File
  3. 高性能JavaScript 加载和执行
  4. Android 使WebView支持HTML5 Video(全屏)播放的方法
  5. MySql下载安装(Mac平台) 终端启动 XMAPP启动
  6. jQuery Easing 动画效果扩展 ,全屏滚动案例
  7. inline-block和text-indent在IE6,IE7下同时使用的兼容问题解决方法
  8. PHP问题
  9. HDU 5700 区间交(线段树)
  10. spoj COT2 - Count on a tree II 树上莫队
  11. JVM内存模型分析(一个程序运行的例子)
  12. [Swift]LeetCode448. 找到所有数组中消失的数字 | Find All Numbers Disappeared in an Array
  13. PyQt5——基本控件
  14. java8模拟grouby方法
  15. 【转】利用python的KMeans和PCA包实现聚类算法
  16. 在centos xmanager工具环境下启动 xwindow
  17. 哪些优秀的 Windows 小工具,类似 clover 或 everything
  18. echart 数据视图 样式重写
  19. java中判断对象中属性值是否为空的函数
  20. Android反编译技术总结

热门文章

  1. js每天进步一点点
  2. javascript时间戳和日期字符串相互转换
  3. 基于MVC4+EasyUI的Web开发框架经验总结(3)- 使用Json实体类构建菜单数据
  4. 关于MySql中的varchar类型
  5. QT TableWidget 应用笔记
  6. GCC、ARM-LINUX-GCC、ARM-ELF-GCC浅析
  7. C#编程总结(六)异步编程
  8. SSH服务器与Android通信(1)--服务器端发送数据
  9. 利用PBFunc在Powerbuilder中支付宝当面付功能
  10. java集合-HashTable