CCE 节点 NotReady 之后 Pod 为什么不重建:taint 驱逐、tolerationSeconds 与被卡住的 T

举报
yd_273983069 发表于 2026/11/08 10:26:05 2026/11/08
【摘要】 节点 NotReady 并不等于 Pod 会被立刻删掉重建。真正起作用的是 node lifecycle controller 打上的 NoExecute taint、DefaultTolerationSeconds 给的 300 秒宽限,以及本地存储 / 卷挂载顺序导致的 Terminating 卡死。这篇按 CCE 1.25 实测把时间线拆开,并给出能提前发现「Pod 卡在 Terminati

## 背景


一个 CCE 1.25 集群,某个节点因为底层宿主机网络问题 NotReady。预期是 5 分钟内 Pod 被驱逐到其它节点,实际观察了 25 分钟,Deployment 的副本数一直不够,新 Pod 也没起来。控制台看节点是 NotReady,工作负载那一栏的 Pod 一直显示「运行中」,进详情才看到状态是 Terminating。


## 一、NotReady 之后到底发生了什么


时间线是这样的(默认参数):


1. kubelet 停止上报心跳,`node-monitor-grace-period`(默认 40s)到期后,node lifecycle controller 把节点标成 `NotReady`,同时打上三个 taint:

   - `node.kubernetes.io/not-ready:NoSchedule`

   - `node.kubernetes.io/not-ready:NoExecute`

   - `node.kubernetes.io/unreachable:NoExecute`

2. 只有带 `NoExecute` 的 taint 才会驱逐 Pod。`NoSchedule` 只是不再往这台节点调度新 Pod。

3. 驱逐并不是立刻执行,而是按 Pod 的 `tolerationSeconds` 倒计时。默认值来自 `DefaultTolerationSeconds` 这个 admission controller:它给**没有显式写 tolerations 的 Pod** 自动补上 `node.kubernetes.io/not-ready` 和 `node.kubernetes.io/unreachable`,`tolerationSeconds: 300`。

4. 300 秒到期,API Server 把 Pod 置为 `Terminating`(不是直接删)。此时 kubelet 已经失联,没人能确认容器是否真的停了。


关键点:**`pod-eviction-timeout` 从 1.27 起被移除**,节点失联时的删除完全走 taint 驱逐这条路,不要再按老文章去调那个参数。


## 二、为什么 Pod 一直卡在 Terminating


节点失联时,kubelet 不在,容器不会被真正 kill,于是:


- Pod 停在 `Terminating`,`deletionTimestamp` 已设置但 `finalizers` 或容器状态清不掉;

- Deployment 认为旧 ReplicaSet 还有 1 个 Pod 存在(虽然它不可用),新 Pod 会被创建,但如果 PVC 是 `ReadWriteOnce` 的云硬盘,新 Pod 会卡在 `ContainerCreating` 报 `volume is already used`——因为旧节点的 attach 记录还在,volumes 控制器要先 detach;

- 更麻烦的是 StatefulSet:同名 Pod 名唯一,旧 Pod 不消失,新 Pod 根本不会被创建。


所以「Pod 没重建」有三种完全不同的原因,必须先分清:


```bash

# 1) Pod 是不是 Terminating 卡住

kubectl get pod -o wide --field-selector spec.nodeName=<notready-node>

# 2) 有没有 pending 的新 Pod,卡在什么原因

kubectl describe pod <new-pod> | sed -n '/Events/,$p'

# 3) 卷有没有残留 attach

kubectl get volumeattachment | grep <node-name>

```


## 三、能让它快点恢复的三个动作


1. **给节点打上正确的 taint 判定**:如果是网络分区导致 kubelet 假死、实际容器还在跑,直接驱逐会同时起两份进程写同一个数据目录。这种场景要先把节点上的容器停掉(云上一般是关机 / 重置节点),再让它被驱逐。

2. **缩短宽限期(谨慎)**:给业务 Pod 显式写 tolerations,把 `tolerationSeconds` 从 300 改成 60,能明显缩短故障恢复时间;代价是网络抖动超过 60 秒就会误驱逐,要配合 `node.kubernetes.io/unreachable` 的 `tolerationSeconds` 分开设置。

3. **卡住的 Pod 手工摘除**:确认容器已经不在之后 `kubectl delete pod --grace-period=0 --force`。注意这只清 API 侧记录,不会真的杀进程。


## 四、建议加的两条监控


- `kube_pod_deletion_timestamp` 非空且持续 > 5 分钟 → 「Pod 卡在 Terminating」告警。这条比看节点状态更早发现问题。

- `kube_volumeattachment_info` 里 attach 到 NotReady 节点的条目 → 提前知道哪些有状态副本会卡住恢复。


## 小结


节点 NotReady 的处理链路是:taint → tolerationSeconds 倒计时 → 标记 Terminating → 等 kubelet 确认 → 真正删除。中间任何一步没有 kubelet 参与,Pod 就不会消失,工作负载也就不会按预期重建。排查时先看 Pod 是 Terminating 还是 Pending,再看卷有没有残留 attach,别一上来就怀疑调度器。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。