欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 美食 > Kafka问题排查笔记

Kafka问题排查笔记

2025/6/16 14:14:34 来源:https://blog.csdn.net/niceHack/article/details/148621268  浏览:    关键词:Kafka问题排查笔记

   首先,进入Kafka脚本目录:比如:/opt/kafka_2.13-2.7.1/bin/

列出消费者组

[root@kafka-0 bin]# kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list

plat-core-100.104.41.11

nm-core-100.104.41.15

plat-core

nm-core

plat-license

描述该消费者组的详细信息

  1. 可以看到该消费者组监听的所有的消息主题
  2. 可以通过LAG消费滞后列可以说明是否消息积压或者消费速度过慢

kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group nm-core

结果解释:

列名

说明

GROUP

消费者组名称

TOPIC

订阅的topic名称

PARTITION

Topic的分区号

CURRENT-OFFSET

当前消费到的偏移量(最新的消费位置)

LOG-END-OFFSET

Topic消息的最新消息偏移量(总消息量)

LAG

未消费的消息数量(LOG-END-OFFSET – CURRENT-OFFSET

全称:Log (End Offset) Ahead of Group (Offset)

更常见的名称解释:Consumer Lag,消费者消息积压量

COMSUMER-ID

消费者客户端id

HOST

消费者所在机器的ip,这里即是podip

CLIENT-ID

消费者客户端标识

以上命令中的127.0.0.1可以是任意一个可用的kafka broker的ip地址。

查看消费者组的状态

[root@kafka-0 bin]# kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group nm-core --describe --state

GROUP                                                            COORDINATOR (ID)          ASSIGNMENT-STRATEGY  STATE          #MEMBERS

nm-core          kafka-0.kafka-svc.maipu-matrix-center.svc.cluster.local:9092 (0)                                     range           Stable          2

Kafka和rocketMQ中的broker的概念对比

维度

Kafka

RocketMQ

Broker 本质

物理节点,运行分区副本

逻辑组(Master + Slave

副本角色

动态(Leader/Follower 按分区划分)

固定(Master/Slave Broker 组划分)

数据同步

ISR 机制(异步拉取)

主从复制(同步/异步)

扩展性

分区副本可跨 Broker 自由分配

Slave 数量受限于 Master

高可用设计

依赖 ISR Controller 选举

依赖 Master-Slave 切换

  1. Kafka 的 Broker 是物理节点,副本是分区的冗余,角色动态变化。
  2. RocketMQ 的 Broker 是逻辑组(Master+Slave),副本是主从绑定,角色固定。
  3. Kafka 更灵活(副本跨节点分布),RocketMQ 更简单(主从强一致性优先)

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词