发版那 30 秒,502 是怎么来的
每次滚动发布,监控上都会冒出一小撮 502,几十条,持续半分钟左右,然后自己消失。量不大,上游重试一下就盖过去了,所以这个现象挂了两个月没人管。直到有个对账接口的调用方不接受重试,投诉过来,才认真查了一次。
有意思的是前两次修复都「很有道理」,而且都没用。
第一次:以为是新实例没热身
最直觉的解释是新 Pod 起来就被流量打到了,连接池还没建、JIT 还没热、缓存还是空的。于是加了就绪探针,等依赖检查通过才把 Pod 标 Ready,还加了一段预热逻辑。发布后 502 数量几乎没变。
回头看,这个方向从一开始就偏了:502 集中出现在旧实例被替换的时刻,而不是新实例刚起来的时刻。新实例慢一点只会带来延迟毛刺,不会让网关拿不到后端。
第二次:以为是负载均衡摘节点有延迟
换个方向,怀疑 Endpoint 摘除太慢,网关还在往已经下线的 Pod 转发。于是把心跳和同步周期调短了一轮。还是没用。
这一步其实离答案很近了,但因果搞反了:问题不是「网关还在往旧 Pod 发新请求」,而是旧 Pod 上已经在处理中的请求被中途掐断。
真正的原因:SIGTERM 一到,进程立刻不干了
滚动发布时,Kubernetes 发 SIGTERM 和从 Endpoint 列表里摘掉这个 Pod 是同时发起、各自异步完成的两件事。我们的服务收到 SIGTERM 后直接 os.Exit,进程没了,监听套接字关闭,那些已经建立的长连接上正在跑的请求全部被 RST 掉,网关侧看到的就是 502。
注意这些请求并不是「新流量」。它们是 SIGTERM 之前就进来的、可能已经跑了 200 毫秒的正常请求。网关这时候还在傻等响应,后端却把连接断了。
也就是说,缺的不是某个开关,而是「摘流量」和「停进程」之间的一段时间差。这段时间必须长于服务发现的收敛时间,让在途请求有机会跑完。
正确的停机顺序
正确的顺序是:先让自己不再是候选后端,等流量确实不再进来,再停接受新连接、等在途请求完成,最后才关下游资源。
srv := &http.Server{Addr: ":8080", Handler: mux}
go func() { _ = srv.ListenAndServe() }()
quit := make(chan os.Signal, 1)
signal.Notify(quit, syscall.SIGTERM, syscall.SIGINT)
<-quit
// 1) 先让就绪探针失败,负载均衡停止派新请求
ready.Store(false)
// 2) 等服务发现收敛:要大于 kube-proxy / Ingress 的同步周期
time.Sleep(8 * time.Second)
// 3) 停止接新连接,等在途请求跑完;给个上限别无限等
ctx, cancel := context.WithTimeout(context.Background(), 20*time.Second)
defer cancel()
_ = srv.Shutdown(ctx)
// 4) 最后才关消息消费者、数据库连接池
_ = consumer.Close()
pool.Close()
Shutdown 和 Close 的区别就在这里:前者优雅关闭监听并等待在途请求,后者直接断连接。很多框架提供了「优雅停机」配置项,但只覆盖了 HTTP server 这一层。
lifecycle:
preStop:
exec:
command: ["sh", "-c", "sleep 8"]
terminationGracePeriodSeconds: 45
preStop 的 sleep 是给服务发现收敛留的时间,进程内再等一次也行,两边别重复得太离谱。terminationGracePeriodSeconds 必须大于「preStop + Shutdown 超时」,否则前面等得再优雅,最后还是被 SIGKILL 砍掉。我们这里是 8 + 20 = 28 秒,留 45 秒有余量。
HTTP 之外的在途工作
改完 HTTP 那层,502 消失了,但发布窗口里偶尔还有几条对账数据要重跑。查下来是另外三类在途工作没被算进去:
- 消息消费者:已经拉取但还没 ack 的消息,进程一退就回到队列,重放时如果没做幂等就会重复处理。
- 定时任务:跑到一半的批次,没有「暂停拉取新数据 + 等当前批次落库」的收尾。
- 异步线程池:主流程返回了,后台 goroutine 还在写库,进程退出时被直接丢弃。
正确做法是停机时先停止「拉取新工作」,再等待「已领取的工作」完成或显式交回,顺序和 HTTP 完全一致,只是对象从连接变成了任务和消息。
别用重试去盖这个问题
这件事最值得记的不是那几行配置,而是它为什么能挂两个月:上游有重试,502 被盖住了,监控上只剩一个每次发布都会出现、又每次都会自己消失的小尖峰,看起来像噪声。
用重试兜住基础设施的正常行为,短期省事,长期是把问题从错误率里挪走、藏进延迟和重复请求里。我们后来把「滚动发布窗口内的连接异常断开数」单独做成一个指标,哪怕上游重试成功也要计数——不然下次换个不接受重试的调用方,还是得靠投诉才发现。
优雅停机不是打开一个开关,是要回答一个问题:从「决定这个实例不要了」到「它真的可以死」,中间那段时间里,还有谁在依赖它。
- 点赞
- 收藏
- 关注作者
评论(0)