Data Flow ->> Multicast

Multicast的中文意思是组播或者多播。那自然这个组件干的事情就是可以把一份数据库输入给多少接收组件作为输入。这里有篇别人的博文讲到了Multicast的主要作用和应用场景：http://www.cnblogs.com/biwork/p/3328838.html。这里引用原文：

第一种，从同一个数据源中取出一部分数据直接放到 A 表中，一部分数据直接放到 B 表中。我曾经遇到一个370多列的一个文件，这370列的文件可以分出列数不等的7，8 张表。我最开始的做法是先将这个文件的数据 Load 到一个大表中，然后再从大表抽取不同的列到小表中，这样相当于形成了二次加载，效率不高，后来使用 Multicast 就可以一次性直接将 370 列宽的文件分散到不同的表中。

第二种，从数据源 A 抽取数据到 B，B 每次都会先 Truncate 一下，但是又需要备份一下每次从 A 抽取的数据，这个时候也可以使用 Multicast。在每次从 A 抽取数据的时候，通过 Multicast 使数据在导向 B 的同时也导向到 B 的备份表。

第三种，类似于第二种，不同的是没有备份表，但是需要保留加载的一些 Audit 信息数据。比如，从 Source 抽取数据到 Staging 的时候，同时需要记录一下抽取的行数，以及用来标示这批 Staging 数据中最大的时间戳，表名和列的名称。这样的话，下次加载数据到 Staging 的时候就只选择加载新增的 Source 数据，也就是上一批最大时间戳之后的新数据。

巴特西

Data Flow ->> Multicast

最新文章

热门文章