滚动发布偶发 502:从网关日志查到 Pod 的 preStop

举报
yd_236978410 发表于 2026/11/15 00:25:26 2026/11/15
【摘要】 滚动发布偶发 502:从 Nginx 日志一路查到 Pod 的 preStop上周把线上服务切到 Kubernetes 滚动发布后,每次发版都会零星出现 502,量不多:一次发布大约 20~60 个请求,抓不到规律,用户侧偶尔反馈"点了一下没反应,再点就好了"。花了一个下午把它彻底摁死,记录一下排查路径。一、先看清 502 是谁回的第一反应是网关报错,于是先看网关日志:2026-11-14 ...

滚动发布偶发 502:从 Nginx 日志一路查到 Pod 的 preStop

上周把线上服务切到 Kubernetes 滚动发布后,每次发版都会零星出现 502,量不多:一次发布大约 20~60 个请求,抓不到规律,用户侧偶尔反馈"点了一下没反应,再点就好了"。花了一个下午把它彻底摁死,记录一下排查路径。

一、先看清 502 是谁回的

第一反应是网关报错,于是先看网关日志:


2026-11-14 15:22:41 [error] upstream prematurely closed connection while reading response header from upstream,
client: 10.12.x.x, server: api.example.com,
request: "POST /api/v1/orders HTTP/1.1",
upstream: "http://10.0.3.71:8080/api/v1/orders"

关键字是 `prematurely closed connection while reading response header`——不是连不上,是**连上了、请求发出去了,对端在读响应头之前把连接断了**。这就是典型的"服务端在被杀的时候还有请求在处理"。

时间点对一下发布记录:15:22:41 正好是某个 Pod 进入 Terminating 的那几秒。

二、为什么滚动发布会有请求打到正在退出的 Pod

Kubernetes 删除 Pod 是**两条并行的流程**:

1. kubelet 侧:Pod 变成 Terminating → 执行 `preStop` → 发 SIGTERM → `terminationGracePeriodSeconds` 到了再 SIGKILL;

2. 网络侧:Endpoints/EndpointSlice 里把该 Pod 摘掉 → kube-proxy/网关更新转发规则。

这两条**没有先后保证**。如果第 2 条比第 1 条慢,就会出现"已经在杀进程了,但流量还在往里打"的窗口。

我们的服务收到 SIGTERM 立刻退出(框架默认行为),于是这个窗口里进来的请求全部 502。

三、三步修法

1. 让进程"先停止接新请求,再等一会儿再退"

`preStop` 加一段 sleep,把摘流量的时间买出来:


lifecycle:
  preStop:
    exec:
      command: ["/bin/sh", "-c", "sleep 8"]
terminationGracePeriodSeconds: 30

`terminationGracePeriodSeconds` 必须大于 `preStop` 时间 + 处理中最长请求时间。我们是 `8 + 20 左右`,30 秒够用;如果业务有长轮询或大文件上传,这个值要按最长请求算。

注意顺序:`preStop` 阻塞期间进程还活着、还能正常响应,所以这 8 秒里进来的请求不会失败——这正是"优雅"的来源。

2. 应用层要做 SIGTERM 处理,而不是被默认行为打死

光 sleep 不够,SIGTERM 之后进程仍然会立刻退出(Go 默认、Python 也是)。改成:


srv := &http.Server{Addr: ":8080", Handler: mux}
go func() {
    if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
        log.Fatal(err)
    }
}()

quit := make(chan os.Signal, 1)
signal.Notify(quit, syscall.SIGTERM, syscall.SIGINT)
<-quit

ctx, cancel := context.WithTimeout(context.Background(), 15*time.Second)
defer cancel()
_ = srv.Shutdown(ctx)   // 停止接收新连接,等待在途请求结束

`Shutdown` 的行为是:**关闭监听 socket(新连接直接被拒/由上层重试)→ 等在途请求处理完 → 返回**。配合 preStop 的 8 秒,实测零 502。

3. 就绪探针不要设得太灵敏

我们原来 `readinessProbe` 的 `periodSeconds: 3`、`failureThreshold: 1`,滚动发布时 Pod 还没把依赖连好就被判定 ready,流量打进来后第一次请求超时。改成:


readinessProbe:
  httpGet: { path: /healthz, port: 8080 }
  initialDelaySeconds: 5
  periodSeconds: 5
  failureThreshold: 3

`/healthz` 里要真的检查下游(DB 连接池是否可用、必要配置是否加载),而不是只 `return 200`。

四、还有一个坑:连接池里的"半死"连接

修完上面三步,502 没了,但发布后出现了少量 `dial tcp: i/o timeout`。原因是服务连的数据库代理侧在 Pod 重启后,旧连接没有及时回收,新 Pod 复用了连接池里已失效的句柄。

处理方式两条:

• 连接池加 `maxLifetime`(比如 30 分钟)+ `maxIdleTime`(5 分钟),不要让连接无限期存活;

• 打开连接健康检查(Go 的 `database/sql` 用 `db.PingContext` 定时探活,或直接靠 `maxLifetime` 兜底)。

代理侧的 `connection idle timeout` 是 600 秒,只要 `maxLifetime` 小于它,就不会拿到被对端已经关掉的连接。

五、验证方法

不看"有没有报错",看**发布窗口内的错误计数**:


# 发布开始时间
START=$(date -Iseconds)
# 发布后统计网关 5xx
grep "upstream prematurely closed" /var/log/nginx/error.log | awk -v s="$START" '$0 > s' | wc -l

我们是连续发 5 次、每次间隔 2 分钟,配合 `hey -z 60s -c 50` 压着发。修改前平均每次发布 30~60 个 502,修改后 5 次全部为 0。

六、清单

• `preStop: sleep` 给摘流量留时间,值 ≥ 3~10 秒;

• `terminationGracePeriodSeconds` > preStop + 最长请求耗时;

• 应用监听 SIGTERM,`Shutdown` 等待在途请求;

• 就绪探针检查真实依赖,别只返回 200;

• 连接池设 `maxLifetime`,小于下游 idle timeout;

• 验收看发布窗口内的 5xx 计数,不看单次请求是否成功。

滚动发布的"零中断"不是靠一个参数,是这三件事同时成立:**流量先摘干净、进程后退出、连接不残留**。缺一条就会留下偶发 502,而且量小到你以为是网络抖动。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。