发版那 30 秒,502 是怎么来的

举报
yd_251777447 发表于 2026/11/16 16:40:25 2026/11/16
【摘要】 每次滚动发布,监控上都会冒出一小撮 502,几十条,持续半分钟左右,然后自己消失。量不大,上游重试一下就盖过去了,所以这个现象挂了两个月没人管。直到有个对账接口的调用方不接受重试,投诉过来,才认真查了一次。 有意思的是前两次修复都「很有道理」,而且都没用。 第一次:以为是新实例没热身 最直觉的解释是新 Pod 起来就被流量打到了,连接池还没建、JIT 还没热、缓存还是空的。于是

每次滚动发布,监控上都会冒出一小撮 502,几十条,持续半分钟左右,然后自己消失。量不大,上游重试一下就盖过去了,所以这个现象挂了两个月没人管。直到有个对账接口的调用方不接受重试,投诉过来,才认真查了一次。

有意思的是前两次修复都「很有道理」,而且都没用。

第一次:以为是新实例没热身

最直觉的解释是新 Pod 起来就被流量打到了,连接池还没建、JIT 还没热、缓存还是空的。于是加了就绪探针,等依赖检查通过才把 Pod 标 Ready,还加了一段预热逻辑。发布后 502 数量几乎没变。

回头看,这个方向从一开始就偏了:502 集中出现在旧实例被替换的时刻,而不是新实例刚起来的时刻。新实例慢一点只会带来延迟毛刺,不会让网关拿不到后端。

第二次:以为是负载均衡摘节点有延迟

换个方向,怀疑 Endpoint 摘除太慢,网关还在往已经下线的 Pod 转发。于是把心跳和同步周期调短了一轮。还是没用。

这一步其实离答案很近了,但因果搞反了:问题不是「网关还在往旧 Pod 发新请求」,而是旧 Pod 上已经在处理中的请求被中途掐断。

真正的原因:SIGTERM 一到,进程立刻不干了

滚动发布时,Kubernetes 发 SIGTERM 和从 Endpoint 列表里摘掉这个 Pod 是同时发起、各自异步完成的两件事。我们的服务收到 SIGTERM 后直接 os.Exit,进程没了,监听套接字关闭,那些已经建立的长连接上正在跑的请求全部被 RST 掉,网关侧看到的就是 502。

注意这些请求并不是「新流量」。它们是 SIGTERM 之前就进来的、可能已经跑了 200 毫秒的正常请求。网关这时候还在傻等响应,后端却把连接断了。

也就是说,缺的不是某个开关,而是「摘流量」和「停进程」之间的一段时间差。这段时间必须长于服务发现的收敛时间,让在途请求有机会跑完。

正确的停机顺序

正确的顺序是:先让自己不再是候选后端,等流量确实不再进来,再停接受新连接、等在途请求完成,最后才关下游资源。

srv := &http.Server{Addr: ":8080", Handler: mux}
go func() { _ = srv.ListenAndServe() }()

quit := make(chan os.Signal, 1)
signal.Notify(quit, syscall.SIGTERM, syscall.SIGINT)
<-quit

// 1) 先让就绪探针失败,负载均衡停止派新请求
ready.Store(false)

// 2) 等服务发现收敛:要大于 kube-proxy / Ingress 的同步周期
time.Sleep(8 * time.Second)

// 3) 停止接新连接,等在途请求跑完;给个上限别无限等
ctx, cancel := context.WithTimeout(context.Background(), 20*time.Second)
defer cancel()
_ = srv.Shutdown(ctx)

// 4) 最后才关消息消费者、数据库连接池
_ = consumer.Close()
pool.Close()

Shutdown 和 Close 的区别就在这里:前者优雅关闭监听并等待在途请求,后者直接断连接。很多框架提供了「优雅停机」配置项,但只覆盖了 HTTP server 这一层。

lifecycle:
  preStop:
    exec:
      command: ["sh", "-c", "sleep 8"]
terminationGracePeriodSeconds: 45

preStop 的 sleep 是给服务发现收敛留的时间,进程内再等一次也行,两边别重复得太离谱。terminationGracePeriodSeconds 必须大于「preStop + Shutdown 超时」,否则前面等得再优雅,最后还是被 SIGKILL 砍掉。我们这里是 8 + 20 = 28 秒,留 45 秒有余量。

HTTP 之外的在途工作

改完 HTTP 那层,502 消失了,但发布窗口里偶尔还有几条对账数据要重跑。查下来是另外三类在途工作没被算进去:

  • 消息消费者:已经拉取但还没 ack 的消息,进程一退就回到队列,重放时如果没做幂等就会重复处理。
  • 定时任务:跑到一半的批次,没有「暂停拉取新数据 + 等当前批次落库」的收尾。
  • 异步线程池:主流程返回了,后台 goroutine 还在写库,进程退出时被直接丢弃。

正确做法是停机时先停止「拉取新工作」,再等待「已领取的工作」完成或显式交回,顺序和 HTTP 完全一致,只是对象从连接变成了任务和消息。

别用重试去盖这个问题

这件事最值得记的不是那几行配置,而是它为什么能挂两个月:上游有重试,502 被盖住了,监控上只剩一个每次发布都会出现、又每次都会自己消失的小尖峰,看起来像噪声。

用重试兜住基础设施的正常行为,短期省事,长期是把问题从错误率里挪走、藏进延迟和重复请求里。我们后来把「滚动发布窗口内的连接异常断开数」单独做成一个指标,哪怕上游重试成功也要计数——不然下次换个不接受重试的调用方,还是得靠投诉才发现。

优雅停机不是打开一个开关,是要回答一个问题:从「决定这个实例不要了」到「它真的可以死」,中间那段时间里,还有谁在依赖它。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。