Storm Zookeeper
2024-10-01 14:20:13
本文记录了storm 1.1.0 在zookeeper中保存的信息。
下面的图是在[4]的基础上进行修改的。
/-storm -- storm在zookeeper上的根目录
|
|-/assignments -- topology的任务分配信息
| |
| |-/{topology-id} -- 这个下面保存的是每个
| topology的assignments
| 信息包括： 对应的
| nimbus上的代码目录,所有
| task的启动时间,
| 每个task与机器、端口的映射
|
|-/backpressure -- 这个目录保存需要限流的topology-id
| | [1]
| |-/{topology-id}
| |
|-/blobstore -- 保存大型文件的key,
| | 以及topology的配置[2]
| |-/{key-id}
|
|-/blobstoremaxkeysequencenumber
| | -- 这个里面保存了大型文件的
| | key的最大[2],但是发现
| | 和blobstore的内容一样
| |
|-/storms -- 这个目录保存所有正在运行
| | 的topology的id
| |
| |-/{topology-id} -- 这个文件保存这个topology
| 的一些信息，包括topology的
| 名字，topology开始运行的时
| 间以及这个topology的状态
| (具体看StormBase类)
|
|-/supervisors -- 这个目录保存所有的supervisor
| | 的心跳信息
| |
| |-/{supervisor-id} -- 这个文件保存的是supervisor
| | 的心跳信息包括:心跳时间，主
| | 机名，这个supervisor上worker
| | 的端口号运行时间
| | (具体看SupervisorInfo类)
| |
| |
|-/logconfigs -- 这个目录保存修改了LOG LEVEL
| | 的topology的id
| |
| |-/{topology-id}
| |
| |
|-/nimbuses
| | -- 这个里面保存了numbuses对应的机器列表
| |
|-/leader-lock
| | -- 这个和HA有关[3]
| |
|-/workerbeats -- 所有worker的心跳
| |
| |-/{topology-id} -- 这个目录保存这个topology的所
| | 有的worker的心跳信息
| |
| |-/{worker-id} -- worker的心跳信息
|
|-/errors -- 所有component所产生的error信息
|
|-/{topology-id} -- 这个目录保存这个topology下面
| 所有component的出错信息(包括
| topology的所有component与系
| 统的“_acker”
|
|-/{component-id} -- 这个component的出错信息
[1] HOW TO TUNE APACHE STORM’S AUTOMATIC BACK PRESSURE
[2] Storm Distributed Cache API
[3] Highly Available Nimbus Design
[4] Storm 与 ZooKeeper —— 分布式实时计算提升篇
最新文章
- 精通css 高级web标准解决方案——可视化格式模型-定位模型
- ASP.NET中cookie与Fiter实现简单登陆,AllowAnonymous匿名登陆
- Android基于XMPP的即时通讯1-基本对话
- ajax同步、异步执行简单理解与证明
- AS启动模拟器报'mksdcard.exe' is missing from the SDK tools folder.异常、启动模拟器失败
- Microsoft.ACE.OLEDB.12.0 错误 上传读取Excel错误
- JQuery、js判断复选框是否选中状态
- Linux rsync 同步实践
- DBHelper 类（网上收集）
- POI读取公式的值
- JavaScript JSON timer(计时器) AJAX HTTP请求 同源策略 跨域请求
- JAVA基础——面向对象三大特性：封装、继承、多态
- hdu 3722 二分图 最优完备匹配 KM算法
- Quartz源码——scheduler.start()启动源码分析（二）
- Sqlserver数据库 通过表触发器 实时通知应用程序
- Mac里安装配置Jdk
- Rabbit MQ 消息确认和持久化机制
- 数据库文件MDF的空间占满了，没有自动增长是怎么回事？
- JSP(Servlet)中从连接池获取连接
- spring原理机制