YARN学习总结之环境搭建
2024-09-01 11:39:54
Yarn环境搭建（基于hadoop-2.6.0-cdh5.7.0 伪分布）
1)配置文件
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2）启动yarn相关进程
sbin/start-yarn.sh
3）验证
(1)：jps
[hadoop@hadoop01 sbin]$ jps
12706 Jps
7880 DataNode
12393 NodeManager
8060 SecondaryNameNode
12300 ResourceManager
7791 NameNode
(2)：浏览器方式：http://192.168.44.183:8088/
4）停止
sbin/stop-yarn.sh
5）提交MapReduce程序到yarn上运行（/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar:官方测试用例）
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 1 3
最新文章
- javascript设置和获取cookie的通用方法
- loadrunner统计字符串中指定字符出现的次数
- 百度地图刷新显示不完整？（应该是和div顺序有关系）
- U3D UGUI学习1 - 层级环境
- 《OD大数据实战》Hive入门实例
- html5定位并在百度地图上显示
- SAP BW 例程（Routine）【开始例程、关键值或特性的例程、结束例程】
- 计算机程序和C++语言简介
- 编辑一个类库项目 即*.csproj这个文件的正确方式
- DB2错误码解释对照
- 【Egret】3d 服务器配置
- 利用Dockerfile构建mysql镜像并实现数据的初始化及权限设置
- html5移动端meta自动适应标签
- 【经典案例】Python详解设计模式：策略模式
- 阻止事件冒泡传播stopPropagation() 阻止自身默认行为preventdefault()
- python之vscode配置开发调试环境
- python 正则表达式 RE模块汇总记录
- Windows 通过命令行设置固定ip地址
- 背水一战 Windows 10 (62) - 控件（媒体类）: InkCanvas 保存和加载, 手写识别
- android开发——从相冊中选择图片不裁剪