Pod 反复重启 CrashLoopBackOff:先看退出码,再猜原因
现象
一个业务 Pod 上线后进入 CrashLoopBackOff,RESTARTS 从 0 涨到 60 多,重启间隔越来越长。看当前日志只有一行「Starting application...」,看不出任何异常——因为容器重启后日志被重新打开,真正的死亡现场已经不在当前日志里了。
第一步:看上一次退出的退出码
CrashLoopBackOff 只说明容器在反复退出,真正的原因写在 Pod 的容器状态里:
kubectl describe pod order-api-7d9c8b6f5-2xk4p
重点看 Last State 这一段:
Last State: Terminated Reason: OOMKilled Exit Code: 137 Restart Count: 61
退出码是最省时间的线索:137 等于 128+9,表示被 SIGKILL 杀掉,要么超了内存上限,要么被存活探针杀掉;1 是应用自己 exit(1);143 是收到 SIGTERM 的优雅退出,常见于探针失败后 kubelet 主动杀。先把这个数字读出来,能省掉大半盲目猜测。
第二步:看被杀之前的日志
容器重启后,kubectl logs 默认给的是当前这次启动的输出,要看上一次必须加参数:
kubectl logs order-api-7d9c8b6f5-2xk4p --previous kubectl get events --sort-by=.lastTimestamp | tail -20
--previous 拿到的是上一个容器实例的完整输出,配合 Events 里的 Unhealthy、Killing 记录,基本能区分是启动报错还是探针超时。
第三步:137 的两种典型原因
1. 真的超了 memory limit。把容器上限和实际用量放在一起看:
kubectl get pod order-api-7d9c8b6f5-2xk4p -o jsonpath='{.spec.containers[0].resources}'
kubectl top pod order-api-7d9c8b6f5-2xk4p
如果 limit 是 1Gi,而 JVM 没有设堆上限,默认会按宿主机内存推算堆大小,很容易越过 cgroup 限制被 OOMKill。改成 -XX:MaxRAMPercentage=70,让它按容器内存计算,并为元空间和堆外内存留出余量。
2. 被 liveness probe 误杀。应用冷启动要 40 秒,探针 initialDelaySeconds 只有 10 秒,kubelet 就会在应用还没起来时判定不健康并重启,表现同样是 137。看 describe 的 Events 有没有 Unhealthy;把启动阶段的检查交给 startupProbe,或者把 initialDelaySeconds 与 failureThreshold 一起放大。
小结
排查顺序固定下来:describe 看 Last State 和退出码 → logs --previous 看上一次的完整日志 → events 看 kubelet 到底做了什么 → 最后才去调资源配置或探针参数。先读退出码,再谈原因。
- 点赞
- 收藏
- 关注作者
评论(0)