Kafka 消费积压治理:把 200 万 lag 压回 3 分钟
一、现象:lag 从 2000 涨到 200 万只用了 40 分钟
早上 9 点 12 分收到消费延迟告警。登上机器执行 kafka-consumer-groups 一看,order-event 这个 topic 的 LAG 已经从 2000 一路涨到 200 万,而消费速率从 8000 条每秒掉到 1200 条每秒。同一时间段里,生产端的 QPS 几乎没有变化。
这个对比很关键:如果是流量涨了,那是容量问题,加机器就能缓解;如果流量没变而消费变慢,那加机器只是在给一个生病的消费者多配几台病床。积压是结果,不是原因,先别急着扩分区。
二、第一步:分清「消费变慢」还是「生产变快」
我会同时看三个指标:生产速率、消费速率(单位时间内 lag 的减少量)、以及单条消息的平均处理耗时。三者放在同一张图上看,因果关系基本一眼能看出来。
kafka-consumer-groups.sh --bootstrap-server broker:9092 \
--describe --group order-consumer
# 输出重点看这几列:
# PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST
这次的结果很说明问题:200 万积压集中在 2 个分区上,而且对应的 HOST 只有一台。也就是说这是单实例问题,不是全局容量问题。仅这一步,就省掉了「无脑加消费者」的错误方向。
三、三个最常见的根因
第一是 rebalance 风暴。session.timeout.ms 设得太小,而消费线程被下游的慢调用卡住,心跳线程和消费线程共享一个线程池时会被一起阻塞,协调者于是认为这个实例已经死亡,触发全组 rebalance。rebalance 期间整个组停止消费,于是更慢,于是再触发一次。日志里会反复出现 Revoking previously assigned partitions 这句话。
第二是单批处理阻塞。max.poll.records 用了默认的 500,而每条消息都要同步调一次下游 HTTP 接口。下游 P99 从 80 毫秒涨到 600 毫秒之后,一批 500 条就要跑 300 秒,刚好越过 max.poll.interval.ms 的默认上限,消费者被踢出组,offset 提交不上去,重启后又从头拉一遍,积压越滚越大。
第三是下游超时重试没有退避。一个下游 5xx 会触发三次立即重试,三次重试又都压在同一条分区上,形成正反馈:越重试越慢,越慢越容易超时。
四、治理:参数、代码、下游三处一起改
参数层的原则是「让小批次跑得完」,而不是「让大批次跑得快」。把 max.poll.records 从 500 降到 50,heartbeat.interval.ms 降到 3000,max.poll.interval.ms 提到 600000,让处理慢不再等于实例死亡。
spring.kafka.consumer.max-poll-records=50
spring.kafka.consumer.heartbeat-interval=3000
spring.kafka.consumer.max-poll-interval-ms=600000
spring.kafka.consumer.fetch-min-bytes=1048576
spring.kafka.consumer.fetch-max-wait=500
代码层把逐条同步调用改成按业务主键聚合后批量查询,一批 50 条只发一次下游请求;重试改成指数退避,最多两次,仍然失败就直接投递到死信队列,不要在分区里死磕。幂等键用消息里的业务单号,保证批量重投不会重复扣减。
下游层给调用加 200 毫秒超时和熔断降级,单点慢查询不该有能力拖死整条消费链路。这一层不归消费端管,但必须由消费端提出要求,否则下次还会以同样的方式复发。
五、结果与长期做法
改完上线后,消费速率回到 9000 条每秒以上,200 万积压三分半钟清完,P99 处理耗时从 600 毫秒回到 90 毫秒。消费者并发从 4 提到 8,分区数从 12 扩到 24,给下一次流量峰值留了余量。
长期看,积压治理真正值钱的不是「能多快清完」,而是「能不能在五分钟内判断出是哪一类原因」。我们现在把 lag 增速、每分钟 rebalance 次数、单批处理耗时做成三个面板,任何一个越界就直接在告警里带上结论,而不是只报一句「lag 过高」然后让人从头查起。
- 点赞
- 收藏
- 关注作者
评论(0)