Storm 消息分发策略
2024-10-13 18:22:02
1、Shuffle Grouping：随机分组，随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同。
2、Fields Grouping：按字段分组，比如按userid来分组，具有同样userid的tuple会被分到相同的Bolts，而不同的userid则会被分配到不同的Bolts。
3、All Grouping：广播发送，对于每一个tuple，所有的Bolts都会收到。
4、Global Grouping: 全局分组，这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。
5、Non Grouping：不分组，这个分组的意思是说stream不关心到底谁会收到它的tuple。目前这种分组和Shuffle grouping是一样的效果，有一点不同的是storm会把这个bolt放到这个bolt的订阅者同一个线程里面去执行。
6、Direct Grouping：直接分组, 这是一种比较特别的分组方法，用这种分组意味着消息的发送者指定由消息接收者的哪个task处理这个消息。只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通 过TopologyContext来获取处理它的消息的taskid (OutputCollector.emit方法也会返回taskid)
7、Local or shuffle grouping：如果目标bolt有一个或者多个task在同一个工作进程中，tuple将会被随机发生给这些tasks。否则，和普通的Shuffle Grouping行为一致。
最新文章
- OC JS交互（通常情况下，如果网页写得正规的话，是可以正常交互的，之前就遇到后台写h5始终拿不到事件，元素也拿不到，更别说交互了，真是奇了怪了）
- 搭建 MPICH3 并行计算环境
- Mysql中类似于nvl()函数的ifnull()函数
- Ubuntu ssh的使用
- 使用HttpClient发送GET请求
- es6--(二)变量的解构赋值
- Spring实战——缓存
- Query DSL(2)----Full text queries
- 关于HDPHP,HDCMS 安装，空白问题
- JVM 指令
- Python基础之面向对象3（继承）
- HTTP协议12-HTTPS
- system("x")
- os.path的使用
- 笔记 Bioinformatics Algorithms Chapter2
- Mybatis之拦截器原理（jdk动态代理优化版本）
- 百分之 95% 的程序员不知道 Trending 是什么。
- Anaconda 安装tensorflow(GPU)
- PostgreSQL性能极限
- 初始HTML