Flink 运行时的组件

作业管理器（JobManager）
•控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。
•JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
•JobManager 会把JobGraph转换成一个物理层面的数据流图，这个图被叫做执行图”（ExecutionGraph），包含了所有可以并发执行的任务。
•JobManager 会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。而在运行过程中，JobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。
任务管理器（TaskManager）
Flink中的工作进程。通常在Flink中会有多个TaskManager运行，每一个TaskManager都包含了一定数量的插槽（slots）。插槽的数量限制了TaskManager能够执行的任务数量。
•启动之后，TaskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，TaskManager就会将一个或者多个插槽提供给JobManager调用。JobManager就可以向插槽分配任务（tasks）来执行了。
•在执行过程中，一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据
资源管理器（ResourceManager）
•主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManger 插槽是Flink中定义的处理资源单元。
•Flink为不同的环境和资源管理工具提供了不同资源管理器，比如YARN、Mesos、K8s，以及standalone部署。
•当JobManager申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求，它还可以向资源提供平台发起会话，以提供启动TaskManager进程的容器。
分发器（Dispatcher）
•可以跨作业运行，它为应用提交提供了REST接口。
•当一个应用被提交执行时，分发器就会启动并将应用移交给一个JobManager。
•Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。
•Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。

最新文章

  1. net面试题
  2. CSS拉伸resize
  3. php原型模式的研究
  4. Linux Tcpdump 使用举例 ---持续更新
  5. centos6.4 ceph安装部署之ceph object storage
  6. 64位WINDOWS系统环境下应用软件开发的兼容性问题（CPU 注册表 目录）
  7. Oracle修改字段长度以及计算天数
  8. violin 结构介绍
  9. python 标准库 -- threading
  10. 2017 Multi-University Training Contest - Team 9 1004&&HDU 6164 Dying Light【数学+模拟】
  11. 织梦DEDE网站后台如何上传附件
  12. SQLSERVER 数据量太大，重启服务器后，数据库显示正在恢复
  13. show出相应单据列表
  14. Oracle中如何添加和修改包含日期的数据
  15. intellij idea新建maven项目，一直loading archetype list.....
  16. 通过JS模拟select表单，达到美化效果[demo][转]
  17. Windows操作系统下SVN无法上传*.o文件
  18. upper()
  19. 标签中的rel属性的含义
  20. 浅谈移动端中的视口（viewport）

热门文章

  1. 设计模式学习——JAVA动态代理原理分析
  2. Codeforces 849A：Odds and Ends（思维）
  3. 「算法笔记」Polya 定理
  4. Robust Pre-Training by Adversarial Contrastive Learning
  5. CS5265完全替代兼容龙迅LT8711|Type-C/DP1.2 to HDMI2.0方案芯片|CS5265兼容TYPEC手机笔电
  6. Android开发 PorgressBar（进度条）的使用
  7. Kafka基础教程（三）：C#使用Kafka消息队列
  8. 基于机器学习和TFIDF的情感分类算法，详解自然语言处理
  9. Selenium_环境安装（1）
  10. js 调用同级的 iframe 方法