Hadoop多租户架构配置
2024-10-19 00:24:22
cloudera manager 进到cluster里面，点击Dynamic Resource Pools，没做任何配置默认情况下，资源池里有个default资源组 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount shakespeare.txt result2 任何一个用户提交一个作业，会生成一个以这个用户的名字为资源池的名字的一个资源池。 sudo -u hdfs hadoop fs -mkdir /usr/root sudo -u hdfs hadoop fs -chown root:root /usr/root hadoop fs -ls 没报错 就是找到了家目录 不希望每次都生成一个用户的资源池，不希望单个作业占用太多资源，这就需要我们做一个多租户的设置。Configuration Add Resource Pool 比如名字较PROD 设置一下权重。如何绑定PROD呢，还需要两个参数，Placement Rules edit 把里面√去掉 Save Change！Save！对yarn组件重启，再提交一个作业，看到在default里。不是我们定义的，也没有指定资源池，就在default里运行；一般都会设置的比较小。 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount -D mapreduce.job.queuename=root.PROD /user/carr/shakespeare.txt result3
最新文章
- 从一个简单的ASP.NET 5站点开启.NET跨平台之旅
- oracle中利用trigger,sequence自动生成ID
- C用函数指针模拟重载 C++重载
- Masonry 固定宽度 等间距
- LINUX kernel笔记系列 :IO块参数 图
- 关于线程池ThreadPool的学习
- 搭建单节点Hadoop应用环境
- Hunters
- HDU 1392 Surround the Trees（凸包）
- EntityFramework 6.x和EntityFramework Core插入数据探讨
- 21 , CSS 构造模型
- Unable to preventDefault inside passive event listener due to target being treated as passive
- Swagger入门
- 通过Solrj实现对索引库中数据的局部更新操作
- 在Spring Boot中使用 @ConfigurationProperties 注解， @EnableConfigurationProperties
- git log 关键字查找
- [ssh]如何设计ARM板上多用户key登录系统
- 趁热打铁学node
- 用Main方法调用freemarker生成文件
- python基础之函数式编程、匿名函数、内置函数