Storm的基本概念
2024-09-03 03:07:54
Storm的基本概念
- Topology:拓扑,也俗称一个任务,类似于MapReduce中的job。将Spout、Bolt整合起来的拓扑图。定义了Spout和Bolt的结合关系、并发数量、配置等等。
- Spout:拓扑的消息源,源源不断的发送元组数据Tuple
- Bolt:拓扑的处理逻辑单元。消费Tuple的节点。消费后可能会排出新的Tuple到该Stream上,也可能会排到到其他Stream,也或者根本不排。可并发。
- Tuple:消息元组,元组数据的抽象接口,可以是任何类型的数据。但是必须要可序列化。
- Stream:数据流,Tuple的集合。一个Stream内的Tuple拥有相同的源。
- Stream grouping:数据流的分组策略
- Task:任务处理单元
- Executor:工作线程
- Worker:工作进程
- Configuration:topology的配置.Storm里面有一堆参数可以配置来调整Nimbus, Supervisor以及正在运行的topology的行为,一些配置是系统级别的,一些配置是topology级别的。default.yaml里面有所有的默认配置。你可以通过定义个storm.yaml在你的classpath里来覆盖这些默认配置。并且你也可以在代码里面设置一些topology相关的配置信息(使用StormSubmitter)。
流程
最新文章
- Activity的生命周期
- vim安装不上
- 20145318赵一Java课程总结
- C++ 面向对象的三个特点--继承与封装(一)
- Python自动单元测试框架
- iOS6 / iOS7 状态栏高度适配
- jQuery 自动完成文本框
- Yii2的相关学习记录,初始化Yii2(二)
- Google Maps 学习笔记(二)地图天气预报服务 2014.06.04
- js多个物体运动的问题1
- KVM guest caching modes
- weka 通过普通文本转化成arff文件
- 关于dl dt dd 文字过长换行在移动端显示对齐的探讨总结
- Node.js安装和简介
- mysql 5.6.25编译安装详细步骤
- 分享一个Godaddy的优惠码,可以优惠35%——2013-11-23
- P3727 曼哈顿计划E
- [Unity插件]Lua行为树(九):条件节点调整
- Django中的Model、Form和ModelForm
- 洛谷 P2680 运输计划-二分+树上差分(边权覆盖)
热门文章
- 输出变量的界值(int、float、long.....)
- CodeForce 137B
- 2018-2019-2 20165215《网络对抗技术》Exp9 :Web安全基础
- HearthBuddy的狂野和休闲模式来回切换
- 十大经典排序算法最强总结(含JAVA代码实现)(转)
- Anaconda 改为国内镜像的方法
- 微服务一键启动脚本shell带有环境变量的
- vue文件流转换成pdf预览(pdf.js+iframe)
- Android百分比支持布局库的使用和源码分析
- C++中 关于操作符的重载