滚动发布偶发 502:从网关日志查到 Pod 的 preStop
滚动发布偶发 502:从 Nginx 日志一路查到 Pod 的 preStop
上周把线上服务切到 Kubernetes 滚动发布后,每次发版都会零星出现 502,量不多:一次发布大约 20~60 个请求,抓不到规律,用户侧偶尔反馈"点了一下没反应,再点就好了"。花了一个下午把它彻底摁死,记录一下排查路径。
一、先看清 502 是谁回的
第一反应是网关报错,于是先看网关日志:
2026-11-14 15:22:41 [error] upstream prematurely closed connection while reading response header from upstream,
client: 10.12.x.x, server: api.example.com,
request: "POST /api/v1/orders HTTP/1.1",
upstream: "http://10.0.3.71:8080/api/v1/orders"
关键字是 `prematurely closed connection while reading response header`——不是连不上,是**连上了、请求发出去了,对端在读响应头之前把连接断了**。这就是典型的"服务端在被杀的时候还有请求在处理"。
时间点对一下发布记录:15:22:41 正好是某个 Pod 进入 Terminating 的那几秒。
二、为什么滚动发布会有请求打到正在退出的 Pod
Kubernetes 删除 Pod 是**两条并行的流程**:
1. kubelet 侧:Pod 变成 Terminating → 执行 `preStop` → 发 SIGTERM → `terminationGracePeriodSeconds` 到了再 SIGKILL;
2. 网络侧:Endpoints/EndpointSlice 里把该 Pod 摘掉 → kube-proxy/网关更新转发规则。
这两条**没有先后保证**。如果第 2 条比第 1 条慢,就会出现"已经在杀进程了,但流量还在往里打"的窗口。
我们的服务收到 SIGTERM 立刻退出(框架默认行为),于是这个窗口里进来的请求全部 502。
三、三步修法
1. 让进程"先停止接新请求,再等一会儿再退"
`preStop` 加一段 sleep,把摘流量的时间买出来:
lifecycle:
preStop:
exec:
command: ["/bin/sh", "-c", "sleep 8"]
terminationGracePeriodSeconds: 30
`terminationGracePeriodSeconds` 必须大于 `preStop` 时间 + 处理中最长请求时间。我们是 `8 + 20 左右`,30 秒够用;如果业务有长轮询或大文件上传,这个值要按最长请求算。
注意顺序:`preStop` 阻塞期间进程还活着、还能正常响应,所以这 8 秒里进来的请求不会失败——这正是"优雅"的来源。
2. 应用层要做 SIGTERM 处理,而不是被默认行为打死
光 sleep 不够,SIGTERM 之后进程仍然会立刻退出(Go 默认、Python 也是)。改成:
srv := &http.Server{Addr: ":8080", Handler: mux}
go func() {
if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
log.Fatal(err)
}
}()
quit := make(chan os.Signal, 1)
signal.Notify(quit, syscall.SIGTERM, syscall.SIGINT)
<-quit
ctx, cancel := context.WithTimeout(context.Background(), 15*time.Second)
defer cancel()
_ = srv.Shutdown(ctx) // 停止接收新连接,等待在途请求结束
`Shutdown` 的行为是:**关闭监听 socket(新连接直接被拒/由上层重试)→ 等在途请求处理完 → 返回**。配合 preStop 的 8 秒,实测零 502。
3. 就绪探针不要设得太灵敏
我们原来 `readinessProbe` 的 `periodSeconds: 3`、`failureThreshold: 1`,滚动发布时 Pod 还没把依赖连好就被判定 ready,流量打进来后第一次请求超时。改成:
readinessProbe:
httpGet: { path: /healthz, port: 8080 }
initialDelaySeconds: 5
periodSeconds: 5
failureThreshold: 3
`/healthz` 里要真的检查下游(DB 连接池是否可用、必要配置是否加载),而不是只 `return 200`。
四、还有一个坑:连接池里的"半死"连接
修完上面三步,502 没了,但发布后出现了少量 `dial tcp: i/o timeout`。原因是服务连的数据库代理侧在 Pod 重启后,旧连接没有及时回收,新 Pod 复用了连接池里已失效的句柄。
处理方式两条:
• 连接池加 `maxLifetime`(比如 30 分钟)+ `maxIdleTime`(5 分钟),不要让连接无限期存活;
• 打开连接健康检查(Go 的 `database/sql` 用 `db.PingContext` 定时探活,或直接靠 `maxLifetime` 兜底)。
代理侧的 `connection idle timeout` 是 600 秒,只要 `maxLifetime` 小于它,就不会拿到被对端已经关掉的连接。
五、验证方法
不看"有没有报错",看**发布窗口内的错误计数**:
# 发布开始时间
START=$(date -Iseconds)
# 发布后统计网关 5xx
grep "upstream prematurely closed" /var/log/nginx/error.log | awk -v s="$START" '$0 > s' | wc -l
我们是连续发 5 次、每次间隔 2 分钟,配合 `hey -z 60s -c 50` 压着发。修改前平均每次发布 30~60 个 502,修改后 5 次全部为 0。
六、清单
• `preStop: sleep` 给摘流量留时间,值 ≥ 3~10 秒;
• `terminationGracePeriodSeconds` > preStop + 最长请求耗时;
• 应用监听 SIGTERM,`Shutdown` 等待在途请求;
• 就绪探针检查真实依赖,别只返回 200;
• 连接池设 `maxLifetime`,小于下游 idle timeout;
• 验收看发布窗口内的 5xx 计数,不看单次请求是否成功。
滚动发布的"零中断"不是靠一个参数,是这三件事同时成立:**流量先摘干净、进程后退出、连接不残留**。缺一条就会留下偶发 502,而且量小到你以为是网络抖动。
- 点赞
- 收藏
- 关注作者
评论(0)