Spark on yarn的两种模式 yarn-cluster 和 yarn-client
2024-08-30 01:48:24
从深层次的含义讲,yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别,yarn-cluster模式下,driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下,Application Master仅仅向YARN请求executor,client会和请求的container通信来调度他们工作,也就是说Client不能离开。看下下面的两幅图应该会明白(上图是yarn-cluster模式,下图是yarn-client模式):
最新文章
- [C#] C# 知识回顾 - 表达式树 Expression Trees
- zookeeper分布式锁原理
- mysql5.7导入csv文件
- 使用 Sandcastle 生成代码帮助文档
- C#实现通过Gzip来对数据进行压缩和解压
- 【Python】迭代器、生成器、yield单线程异步并发实现详解
- Python开发【第十篇】:CSS --无内容点击-不进去(一)
- 教程:30分钟学会Adobe Premiere
- Signed comparison in Verilog
- UIAlerView、UIActionSheet 和UIAlertViewController(点击注销确认按钮实现)
- JQuery获取Dom元素的方法
- ASP.NET Core中使用Graylog记录日志
- 【转】RAID 技术发展综述
- 公众号第三方平台开发 教程六 代公众号使用JS SDK说明
- 【shell编程】之基础知识-基本运算符
- hdu 1690 构图后Floyd 数据很大
- Maven的dependency type属性
- C++中的乱七八糟问题
- zabbix自动化运维学习笔记(服务器配置)
- ethereum