转自: https://www.jianshu.com/p/5b670d524fa5

答案写在最前面:Job的最大并行度除以每个TaskManager分配的任务槽数。

问题

Flink 1.5 Release Notes中,有这样一段话,直接上截图。

 

这说明从1.5版本开始,Flink on YARN时的容器数量——亦即TaskManager数量——将由程序的并行度自动推算,也就是说flink run脚本的-yn/--yarncontainer参数不起作用了。那么自动推算的规则是什么呢?要弄清楚它,先来复习Flink的并行度(Parallelism)和任务槽(Task Slot)。

并行度(Parallelism)

与Spark类似地,一个Flink Job在生成执行计划时也划分成多个Task。Task可以是Source、Sink、算子或算子链(算子链有点意思,之后会另写文章详细说的)。Task可以由多线程并发执行,每个线程处理Task输入数据的一个子集。而并发的数量就称为Parallelism,即并行度。

Flink程序中设定并行度有4种级别,从低到高分别为:算子级别、执行环境(ExecutionEnvironment)级别、客户端(命令行)级别、配置文件(flink-conf.yaml)级别。实际执行时,优先级则是反过来的,算子级别最高。简单示例如下。

  • 算子级别
dataStream.flatMap(new SomeFlatMapFunction()).setParallelism(4);
  • 执行环境级别
streamExecutionEnvironment.setParallelism(4);
  • 命令行级别
bin/flink -run --parallelism 4 example-0.1.jar
  • flink-conf.yaml级别
parallelism.default: 4

任务槽(Task Slot)

Flink运行时由两个组件组成:JobManager与TaskManager,与Spark Standalone模式下的Master与Worker是同等概念。从官网抄来的图如下所示,很容易理解。

 

JobManager和TaskManager本质上都是JVM进程。为了提高Flink程序的运行效率和资源利用率,Flink在TaskManager中实现了任务槽(Task Slot)。任务槽是Flink计算资源的基本单位,每个任务槽可以在同一时间执行一个Task,而TaskManager可以拥有一个或者多个任务槽。

任务槽可以实现TaskManager中不同Task的资源隔离,不过是逻辑隔离,并且只隔离内存,亦即在调度层面认为每个任务槽“应该”得到taskmanager.heap.size的N分之一大小的内存。CPU资源不算在内。

TaskManager的任务槽个数在使用flink run脚本提交on YARN作业时用-ys/--yarnslots参数来指定,另外在flink-conf.yaml文件中也有默认值taskManager.numberOfTaskSlots。一般来讲,我们设定该参数时可以将它理解成一个TaskManager可以利用的CPU核心数,因此也要根据实际情况(集群的CPU资源和作业的计算量)来确定。

确定TaskManager数

以Flink自带示例中简化的WordCount程序为例:

    // 执行环境并行度设为6
env.setParallelism(6);
// Source并行度为1
DataStream<String> text = env
.readTextFile(params.get("input"))
.setParallelism(1);
DataStream<Tuple2<String, Integer>> counts = text
.flatMap(new Tokenizer())
.keyBy(0)
.sum(1);
counts.print();

--yarnslots 3参数来执行,即每个TaskManager分配3个任务槽。TaskManager、任务槽和任务的分布将如下图所示,方括号内的数字为并行线程的编号。

 
图来自http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/,致敬

由图中可以看出,由于算子链机制的存在,KeyAgg与Sink操作链接在了一起,作为一个Task来执行。

Flink允许任务槽共享,即来自同一个Job的不同Task的Sub-Task(理解为Task的子集就行)进入同一个槽位,因此在图中也可以见到任务槽X中同时存在FlatMap[X]与KeyAgg[X]+Sink[X]。任务槽共享有两点好处:

  • 能够让每个Task的Sub-Task都均摊到不同的TaskManager,避免负载倾斜。
  • 不需要再计算App一共需要起多少个Task,因为作业需要的任务槽数量肯定等于Job中最大的并行度。

所以,可以得出Flink on YARN时,TaskManager的数量就是:max(parallelism) / yarnslots(向上取整)。例如,一个最大并行度为10,每个TaskManager有两个任务槽的作业,就会启动5个TaskManager,如Web UI所示。

 

最新文章

  1. linux /boot 清理
  2. PoEdu - C++阶段班【Po学校】- 第3天
  3. VS2015 Apache Cordova第一个Android和IOS应用
  4. 9.Python笔记之面向对象高级部分
  5. Some settings of PostgreSQL
  6. HDU 5119
  7. Saltstack系列6:Saltstack之state
  8. Tableau
  9. JavaScript最全的10种跨域共享的方法
  10. linux 命令展示该目录下的所有子目录及文件结构 tree
  11. Centos搭建Docker环境
  12. fuzzing学习
  13. python五子棋
  14. 浏览器报XMLHttpRequest cannot loadxxxxxx
  15. SpringMVC处理请求
  16. spoj227 树状数组插队序列问题
  17. 【Linux】linux/unix下telnet提示Escape character is &#39;^]&#39;的意义
  18. Intel 面试(就不该报外企,英语是硬伤)
  19. HDU 2140 Michael Scofield&#39;s letter
  20. java中需要用equals来判断两个字符串值是否相等

热门文章

  1. Paint.NET软件分享
  2. 【使用篇二】QueryDSL与SpringDataJPA协作使用(20)
  3. 【Springboot】spring-boot-starter-redis包报错 :unknown
  4. python——map()函数
  5. 解决“var/log/sysstat/sa21: 没有那个文件或目录 请检查是否允许数据收集”
  6. PHP收集一些常用函数与好用的自定义函数
  7. 你可能会忽略的 Git 提交规范
  8. ASP.NET Core 2.2 WebApi 系列【五】MiniProfiler与Swagger集成
  9. CSS定位和滚动条
  10. 如何判断Linux系统安装在VMware上?