Kafka集群管理工具kafka-manager
2024-08-31 15:11:12
一、kafka-manager简介
kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:
- 管理多个集群
- 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)
- 运行首选副本选举
- 使用选项生成分区分配以选择要使用的代理
- 运行分区重新分配(基于生成的分配)
- 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)
- 删除主题(仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true)
- 主题列表现在指示标记为删除的主题(仅支持0.8.2+)
- 批量生成多个主题的分区分配,并可选择要使用的代理
- 批量运行重新分配多个主题的分区
- 将分区添加到现有主题
- 更新现有主题的配置
kafka-manager 项目地址:https://github.com/yahoo/kafka-manager
二、kafka-manager安装
1、下载并解压安装包
使用Git或者直接从Releases中下载,这里我们下载 2.0.0.2 版本:https://github.com/yahoo/kafka-manager/releases
$ wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.zip
2、sbt编译
1)yum安装sbt(因为kafka-manager需要sbt编译)
$ curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
$ sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
$ sudo yum install sbt
修改仓库地址:(sbt 默认下载库文件很慢, 还时不时被打断),我们可以采用阿里云的镜像进行替代
$ mkdir ~/.sbt ; vim ~/.sbt/repositories 一定要严格按格式来,每行后面不要有空格
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots
验证:检查sbt是否安装成功,查看命令输出,发现已经成功可以从maven.aliyun.com/nexus
下载到依赖即表示成功
$ sbt -version
2)编译kafka-manager
$ ./sbt clean dist
3、修改配置文件
vim conf/application.conf 修改kafka-manager.zkhosts列表为自己的zk节点
kafka-manager.zkhosts="node21:2181,node22:2181,node23:2181"
4、启动服务
启动顺序:zk集群--> kafka集群--> kafka-manager
kafka-manager 默认的端口是,可通过 -Dhttp.port 指定端口 ; -Dconfig.file=conf/application.conf 指定配置文件:
nohup /usr/local/kafka-manager-2.0.0.2/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager-2.0.0.2/conf/application.conf -Dhttp.port=8888 >/dev/null 2>&1 &
jps查看进程:
QuorumPeerMain -- ZooKeeper
Kafka -- Kafka
ProdServerStart -- kafka-manager
最新文章
- NodeJs之child_process
- 【原】移动web页面支持弹性滚动的3个方案
- MODI与VB6
- Block对象
- 15天玩转redis —— 第七篇 同事的一次缓存操作引起对慢查询的认识
- 算法训练 Hankson的趣味题
- 30天轻松学习javaweb_http头信息实例
- page59-一种能够累加数据的ADT(可视化版本) [可用于数据挖掘可视化工具]
- Git分支管理[三]
- zabbix安装笔记
- leetcode 717. 1-bit and 2-bit Characters -easy
- Ajax 模糊查询的简单实现
- Install Windows 2016 on VirtualBox
- zzw原创_linux下的ping6用法
- windows7 python3.4 安装scrapy
- webpack局部安装的问题
- Django实战(9):实现Product的输入校验
- Spring集成Struts、Hibernate----三大框架SSH(Spring、Struts和hibernate)
- python列表重复判断
- spring3: 表达式5.2 SpEL基础