NATS JetStream 实战:从至少一次投递到业务级幂等

举报
yd_219600272 发表于 2026/11/20 09:15:42 2026/11/20
【摘要】 JetStream 只保证至少一次投递,精确一次要靠消费端幂等。本文记录 Stream 与 Consumer 的职责划分、Msg-Id 去重键选型、Ack 与重投策略,以及一套上线前可复现的验证清单。

很多团队把 NATS 当成轻量级消息总线,等到业务开始要求「消息不能丢、也不能重复」时,才发现 JetStream 的语义需要自己设计。下面把最近一次迁移里的取舍记下来,重点只有三处:Stream 与 Consumer 的职责划分、去重键怎么选、Ack 与重投怎么配。

一、先把三种投递语义摆清楚

JetStream 提供的是「至少一次」投递。所谓「精确一次」并不是 broker 的默认能力,而是「至少一次投递 + 消费端幂等」组合出来的结果。记住这句话,后面所有配置都围绕它展开。

如果业务只需要「最多一次」,那根本不必上 JetStream,核心 NATS 的 pub/sub 已经够用;一旦引入 JetStream,就必须回答两个问题:重复消息如何识别,重复消息如何处理。前者靠 Stream 的去重窗口,后者只能靠业务侧。

二、Stream 负责留存,Consumer 负责进度

常见误区是把重试、超时、并发全塞进 Stream 配置里。实际上 Stream 只做一件事:按 subject 收集消息并按保留策略留存;真正的投递节奏由 Consumer 决定。

我们最终选的是 workqueue 保留策略加显式 Ack 的 pull consumer。理由是拉模式让消费端自己控速,积压时不会把服务端内存打满;而 workqueue 语义下消息一旦被 Ack 就从 Stream 移除,天然避免「已处理的消息又被另一个 consumer 读到」。

三、去重键:Nats-Msg-Id 的选择比想象中重要

Stream 支持 duplicate window,窗口期内相同 Nats-Msg-Id 的消息会被直接丢弃。默认窗口只有 2 分钟,对生产端重试够用,对跨机房补偿远远不够,我们把它调到了 10 分钟。

Msg-Id 千万不要用随机 UUID,那等于没有去重。正确做法是用业务主键加事件版本,例如 order-20261120-0001:v3。这样生产端网络超时重发时,第二条会在 Stream 层被吞掉,消费端根本看不到。

四、Ack 策略:把「至少一次」的代价压到最低

pull consumer 的 AckWait 建议设成业务 P99 耗时的两倍左右。设太短,正在处理的消息会被判定超时而重投,重复率立刻飙升;设太长,故障恢复变慢。我们用 30 秒,配合 MaxDeliver=5 和 1s/5s/30s/2m/10m 的 backoff 阶梯。

另外务必开启 AckSync(双 Ack)。否则客户端在发出 Ack 的瞬间崩溃,服务端可能仍认为未确认,下一次拉取就会把同一条消息再投一遍。这个坑我们在压测里复现了三次。

五、消费端幂等的落地写法

幂等不是「先查一下有没有处理过」这么简单,要保证「判重」和「业务写入」在同一个事务里。我们落了一张 processed_event 表,用 (consumer_name, msg_id) 做唯一索引,业务写入与判重记录同事务提交,唯一键冲突就直接 Ack 跳过。

INSERT INTO processed_event (consumer_name, msg_id) VALUES ('order-svc', $1) ON CONFLICT DO NOTHING; -- 影响行数为 0 说明已处理,直接 Ack

这套组合跑了两周,重复消费率从最初的 0.7% 降到 0,没有出现丢消息;代价是每条消息多一次数据库写入,实测 P99 增加约 1.2 毫秒,可以接受。

六、上线前的四条验证

一,断开消费端三分钟、期间造十万条消息,观察积压曲线与恢复速度;二,对消费进程 kill -9,确认未 Ack 的消息在 AckWait 之后被重投;三,用相同 Msg-Id 连发两次,确认 Stream 里只留一条;四,把 duplicate window 临时改成 1 秒,验证去重失效时幂等层能兜住。

这四条都过了,才敢把生产流量切过去。消息系统的正确性没法靠「看起来在跑」来判断,只能靠这种可复现的破坏性验证。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。