华为云 DMS for Kafka 消息队列实战：异步解耦、分区设计与消费幂等

一、为什么要用消息队列

下单成功后要发短信、加积分、写审计日志——全部同步串行会拖垮主链路。用消息队列把主流程和后续动作异步解耦，是提升吞吐与可用性最直接的手段。华为云 DMS for Kafka 提供高吞吐、可持久化的分布式消息能力。

二、实例与 Topic 规划

• 按峰值 TPS 与消息大小估分区数，分区是并行度上限；
• 要保证同一业务实体有序，就用该业务键做分区键；
• 生产建议 3 副本，单节点故障不丢数据。

三、生产者关键配置

开启幂等生产者避免重试导致重复；acks=all 保证写入多数副本后确认。

acks=all
enable.idempotence=true
max.in.flight.requests.per.connection=5

四、消费幂等与顺序

Kafka 只保证分区内有序，位点提交可能重复，业务侧必须幂等：以订单号+动作建去重表或用 Redis SETNX 占位，处理成功再提交位点。

五、常见坑

1. 消费慢导致 rebalance 抖动：调大 max.poll.interval.ms；
2. 分区数只增不减，规划留余量；
3. 大消息塞二进制会被拒，改对象存储+引用。

六、小结

分区规划、幂等消费、监控积压（Lag）三件事到位，异步链路才真正稳。