Pod 反复重启 CrashLoopBackOff:先看退出码,再猜原因

举报
yd_219479431 发表于 2026/11/13 09:31:21 2026/11/13
【摘要】 现象一个业务 Pod 上线后进入 CrashLoopBackOff,RESTARTS 从 0 涨到 60 多,重启间隔越来越长。看当前日志只有一行「Starting application...」,看不出任何异常——因为容器重启后日志被重新打开,真正的死亡现场已经不在当前日志里了。第一步:看上一次退出的退出码CrashLoopBackOff 只说明容器在反复退出,真正的原因写在 Pod 的容...

现象

一个业务 Pod 上线后进入 CrashLoopBackOff,RESTARTS 从 0 涨到 60 多,重启间隔越来越长。看当前日志只有一行「Starting application...」,看不出任何异常——因为容器重启后日志被重新打开,真正的死亡现场已经不在当前日志里了。

第一步:看上一次退出的退出码

CrashLoopBackOff 只说明容器在反复退出,真正的原因写在 Pod 的容器状态里:

kubectl describe pod order-api-7d9c8b6f5-2xk4p

重点看 Last State 这一段:

Last State:  Terminated
  Reason:    OOMKilled
  Exit Code: 137
Restart Count: 61

退出码是最省时间的线索:137 等于 128+9,表示被 SIGKILL 杀掉,要么超了内存上限,要么被存活探针杀掉;1 是应用自己 exit(1);143 是收到 SIGTERM 的优雅退出,常见于探针失败后 kubelet 主动杀。先把这个数字读出来,能省掉大半盲目猜测。

第二步:看被杀之前的日志

容器重启后,kubectl logs 默认给的是当前这次启动的输出,要看上一次必须加参数:

kubectl logs order-api-7d9c8b6f5-2xk4p --previous
kubectl get events --sort-by=.lastTimestamp | tail -20

--previous 拿到的是上一个容器实例的完整输出,配合 Events 里的 Unhealthy、Killing 记录,基本能区分是启动报错还是探针超时。

第三步:137 的两种典型原因

1. 真的超了 memory limit。把容器上限和实际用量放在一起看:

kubectl get pod order-api-7d9c8b6f5-2xk4p -o jsonpath='{.spec.containers[0].resources}'
kubectl top pod order-api-7d9c8b6f5-2xk4p

如果 limit 是 1Gi,而 JVM 没有设堆上限,默认会按宿主机内存推算堆大小,很容易越过 cgroup 限制被 OOMKill。改成 -XX:MaxRAMPercentage=70,让它按容器内存计算,并为元空间和堆外内存留出余量。

2. 被 liveness probe 误杀。应用冷启动要 40 秒,探针 initialDelaySeconds 只有 10 秒,kubelet 就会在应用还没起来时判定不健康并重启,表现同样是 137。看 describe 的 Events 有没有 Unhealthy;把启动阶段的检查交给 startupProbe,或者把 initialDelaySeconds 与 failureThreshold 一起放大。

小结

排查顺序固定下来:describe 看 Last State 和退出码 → logs --previous 看上一次的完整日志 → events 看 kubelet 到底做了什么 → 最后才去调资源配置或探针参数。先读退出码,再谈原因。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。