kafka监控指标项
2024-10-19 05:29:34
监控配置
kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka-run-class.sh 脚本，在该脚本中，存在以下语句：
if ...
KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"
fi
if ...
KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT "
fi
在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker、producer、consumer进行监控。目前有两种方法，
- 在 $KAFKA_HOME/bin/kafka-server-start.sh、 $KAFKA_HOME/bin/kafka-console-consumer.sh、 $KAFKA_HOME/bin/kafka-console-producer.sh 三个脚本中分别添加 $JMX_PORT=XXXX 语句，但是只适用于使用console方式对topic进行使用的情况。
- 修改$KAFKA_HOME/bin/kafka-run-class.sh 脚本中的上述语句，使其端口随机变化，可以通过 ps -ef |grep kafka 命令来获取随机的端口号，来进行监控
指标项来源
以下端口均随机获得。
| 主机名 | 类别 | 端口号 |
|---|---|---|
| 192.168.20.10 | broker | 9183 |
| 192.168.20.10 | producer | 9108 |
| 192.168.20.10 | consumer | 9173 |
kafka监控项
OS监控项
| objectName | 指标项 | 说明 |
|---|---|---|
| java.lang:type=OperatingSystem | FreePhysicalMemorySize | 空闲物理内存 |
| java.lang:type=OperatingSystem | SystemCpuLoad | 系统CPU利用率 |
| java.lang:type=OperatingSystem | ProcessCpuLoad | 进程CPU利用率 |
| java.lang:type=GarbageCollector, name=G1 Young Generation |
CollectionCount | GC次数 |
broker指标
| objectName | 指标项 | 说明 |
|---|---|---|
| kafka.server:type=BrokerTopicMetrics, name=BytesInPerSec |
Count | 每秒输入的流量 |
| kafka.server:type=BrokerTopicMetrics, name=BytesOutPerSec |
Count | 每秒输出的流量 |
| kafka.server:type=BrokerTopicMetrics, name=BytesRejectedPerSec |
Count | 每秒扔掉的流量 |
| kafka.server:type=BrokerTopicMetrics, name=MessagesInPerSec |
Count | 每秒的消息写入总量 |
| kafka.server:type=BrokerTopicMetrics, name=FailedFetchRequestsPerSec |
Count | 当前机器每秒fetch请求失败的数量 |
| kafka.server:type=BrokerTopicMetrics, name=FailedProduceRequestsPerSec |
Count | 当前机器每秒produce请求失败的数量 |
| kafka.server:type=ReplicaManager, name=PartitionCount |
Value | 该broker上的partition的数量 |
| kafka.server:type=ReplicaManager, name=LeaderCount |
Value | Leader的replica的数量 |
| kafka.network:type=RequestMetrics, name=TotalTimeMs,request=FetchConsumer |
Count | 一个请求FetchConsumer耗费的所有时间 |
| kafka.network:type=RequestMetrics, name=TotalTimeMs,request=FetchFollower |
Count | 一个请求FetchFollower耗费的所有时间 |
| kafka.network:type=RequestMetrics, name=TotalTimeMs,request=Produce |
Count | 一个请求Produce耗费的所有时间 |
producer以及topic指标
| objectName | 指标项 | 官网说明 | 译文说明 |
|---|---|---|---|
| kafka.producer:type=producer-metrics,client-id=console-producer(client-id会变化) | incoming-byte-rate | The average number of incoming bytes received per second from all servers. | producer每秒的平均写入流量 |
| kafka.producer:type=producer-metrics,client-id=console-producer(client-id会变化) | outgoing-byte-rate | The average number of outgoing bytes sent per second to all servers. | producer每秒的输出流量 |
| kafka.producer:type=producer-metrics,client-id=console-producer(client-id会变化) | request-rate | The average number of requests sent per second to the broker. | producer每秒发给broker的平均request次数 |
| kafka.producer:type=producer-metrics,client-id=console-producer(client-id会变化) | response-rate | The average number of responses received per second from the broker. | producer每秒发给broker的平均response次数 |
| kafka.producer:type=producer-metrics,client-id=console-producer(client-id会变化) | request-latency-avg | The average time taken for a fetch request. | 一个fetch请求的平均时间 |
| kafka.producer:type=producer-topic-metrics,client-id=console-producer,topic=testjmx(client-id和topic名称会变化) | record-send-rate | The average number of records sent per second for a topic. | 每秒从topic发送的平均记录数 |
| kafka.producer:type=producer-topic-metrics,client-id=console-producer,topic=testjmx(client-id和topic名称会变化) | record-retry-total | The total number of retried record sends | 重试发送的消息总数量 |
| kafka.producer:type=producer-topic-metrics,client-id=console-producer,topic=testjmx(client-id和topic名称会变化) | record-error-total | The total number of record sends that resulted in errors | 发送错误的消息总数量 |
consumer指标
| objectName | 指标项 | 官网说明 | 说明 |
|---|---|---|---|
| kafka.consumer:type=consumer-fetch-manager-metrics,client-id=consumer-1(client-id会变化) | records-lag-max | Number of messages the consumer lags behind the producer by. Published by the consumer, not broker. | 由consumer提交的消息消费lag |
| kafka.consumer:type=consumer-fetch-manager-metrics,client-id=consumer-1(client-id会变化) | records-consumed-rate | The average number of records consumed per second | 每秒平均消费的消息数量 |
最新文章
- Jquery揭秘系列：实现$.fn.extend 和$.extend函数
- LDO-XC6216C202MR-G
- mybatis配置文件xml中插入新数据
- java 抽象类和接口的区别
- Knockout.Js官网学习（event绑定、submit绑定）
- hhgis驱动
- HTML5 微信二维码提示框
- iPhone应用提交流程：如何将App程序发布到App Store？
- Java "double字符串转数字"
- 创建android phonegap项目
- markdown 自定义一个锚点
- byte数组如何转为short数组 (转)
- scrapy学习笔记
- IOS机型margin属性无效问题
- editplus的设置
- bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)-VMware下三种网络配置方式
- 深度学习论文翻译解析（一）：YOLOv3: An Incremental Improvement
- Qt 添加 QtNetwork 库文件
- linux中eth0原何变成了eth1
- 高能天气——团队Scrum冲刺阶段-Day 6