安装yarn集群
2024-08-25 02:45:30
# mapreduce运行平台YARN
mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据
后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平
台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN
# 安装yarn集群
yarn集群中有两个角色:
主节点:Resource Manager 1台
从节点:Node Manager N台
Resource Manager一般安装在一台专门的机器上
Node Manager应该与HDFS中的data node重叠在一起
修改配置文件:
yarn-site.xml
[root@hdp-01 ~]# cd apps/hadoop/etc/hadoop/
[root@hdp-01 hadoop]# vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-01</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
复制到每一台机器上
scp -r yarn-site.xml hdp-02:$PWD
scp -r yarn-site.xml hdp-03:$PWD
scp -r yarn-site.xml hdp-04:$PWD
在hdp-01上,修改hadoop的slaves文件,列入要启动nodemanager的机器
192.168.88.128 hdp-01
192.168.88.129 hdp-02
192.168.88.130 hdp-03
192.168.88.131 hdp-04
将hdp-01到所有机器的免密登陆配置好
用脚本启动yarn集群:
[root@hdp-01 hadoop-2.8.4]# sbin/start-yarn.sh
停止:
[root@hdp-01 hadoop-2.8.4]# sbin/stop-yarn.sh
启动完成后,可以在windows上用浏览器访问resourcemanager的web端口:
resource mananger是否认出了所有的node manager节点
最新文章
- Objective-C中的浅拷贝和深拷贝(转载)
- AngularJS学习之模块
- Opencv step by step - 图像融合
- 6款好用的Python IDE
- PHP基本语法的小结
- linux驱动程序之电源管理之标准linux休眠和唤醒机制分析(二)
- asmdisk 丢失问题一次记录
- xmpp 配置数据库 服务器
- JSP SMARTUPLOAD组件:上传文件时同时获取表单参数
- nginx 提供静态内容
- 自动安装lnmp
- Activiti 用户任务关联自定义表单
- JAVA工程师面试题【来自并发编程网】
- JAX-RPC 与 JAX-WS 的比较
- CSS float:right 在IE浏览器下换行
- 数据模型model设置、生成数据迁移文件、执行数据迁移文件
- 部署phpmyadmin登录不进去
- Python基础3--Python复杂数据类型
- PHP中header(&#39;content-type:text/html;charset=";utf-8&#39;)和error_reporting()的作用
- 简单理解 NP, P, NP-complete和NP-Hard