CCE 节点 NotReady 之后 Pod 为什么不重建:taint 驱逐、tolerationSeconds 与被卡住的 T
## 背景
一个 CCE 1.25 集群,某个节点因为底层宿主机网络问题 NotReady。预期是 5 分钟内 Pod 被驱逐到其它节点,实际观察了 25 分钟,Deployment 的副本数一直不够,新 Pod 也没起来。控制台看节点是 NotReady,工作负载那一栏的 Pod 一直显示「运行中」,进详情才看到状态是 Terminating。
## 一、NotReady 之后到底发生了什么
时间线是这样的(默认参数):
1. kubelet 停止上报心跳,`node-monitor-grace-period`(默认 40s)到期后,node lifecycle controller 把节点标成 `NotReady`,同时打上三个 taint:
- `node.kubernetes.io/not-ready:NoSchedule`
- `node.kubernetes.io/not-ready:NoExecute`
- `node.kubernetes.io/unreachable:NoExecute`
2. 只有带 `NoExecute` 的 taint 才会驱逐 Pod。`NoSchedule` 只是不再往这台节点调度新 Pod。
3. 驱逐并不是立刻执行,而是按 Pod 的 `tolerationSeconds` 倒计时。默认值来自 `DefaultTolerationSeconds` 这个 admission controller:它给**没有显式写 tolerations 的 Pod** 自动补上 `node.kubernetes.io/not-ready` 和 `node.kubernetes.io/unreachable`,`tolerationSeconds: 300`。
4. 300 秒到期,API Server 把 Pod 置为 `Terminating`(不是直接删)。此时 kubelet 已经失联,没人能确认容器是否真的停了。
关键点:**`pod-eviction-timeout` 从 1.27 起被移除**,节点失联时的删除完全走 taint 驱逐这条路,不要再按老文章去调那个参数。
## 二、为什么 Pod 一直卡在 Terminating
节点失联时,kubelet 不在,容器不会被真正 kill,于是:
- Pod 停在 `Terminating`,`deletionTimestamp` 已设置但 `finalizers` 或容器状态清不掉;
- Deployment 认为旧 ReplicaSet 还有 1 个 Pod 存在(虽然它不可用),新 Pod 会被创建,但如果 PVC 是 `ReadWriteOnce` 的云硬盘,新 Pod 会卡在 `ContainerCreating` 报 `volume is already used`——因为旧节点的 attach 记录还在,volumes 控制器要先 detach;
- 更麻烦的是 StatefulSet:同名 Pod 名唯一,旧 Pod 不消失,新 Pod 根本不会被创建。
所以「Pod 没重建」有三种完全不同的原因,必须先分清:
```bash
# 1) Pod 是不是 Terminating 卡住
kubectl get pod -o wide --field-selector spec.nodeName=<notready-node>
# 2) 有没有 pending 的新 Pod,卡在什么原因
kubectl describe pod <new-pod> | sed -n '/Events/,$p'
# 3) 卷有没有残留 attach
kubectl get volumeattachment | grep <node-name>
```
## 三、能让它快点恢复的三个动作
1. **给节点打上正确的 taint 判定**:如果是网络分区导致 kubelet 假死、实际容器还在跑,直接驱逐会同时起两份进程写同一个数据目录。这种场景要先把节点上的容器停掉(云上一般是关机 / 重置节点),再让它被驱逐。
2. **缩短宽限期(谨慎)**:给业务 Pod 显式写 tolerations,把 `tolerationSeconds` 从 300 改成 60,能明显缩短故障恢复时间;代价是网络抖动超过 60 秒就会误驱逐,要配合 `node.kubernetes.io/unreachable` 的 `tolerationSeconds` 分开设置。
3. **卡住的 Pod 手工摘除**:确认容器已经不在之后 `kubectl delete pod --grace-period=0 --force`。注意这只清 API 侧记录,不会真的杀进程。
## 四、建议加的两条监控
- `kube_pod_deletion_timestamp` 非空且持续 > 5 分钟 → 「Pod 卡在 Terminating」告警。这条比看节点状态更早发现问题。
- `kube_volumeattachment_info` 里 attach 到 NotReady 节点的条目 → 提前知道哪些有状态副本会卡住恢复。
## 小结
节点 NotReady 的处理链路是:taint → tolerationSeconds 倒计时 → 标记 Terminating → 等 kubelet 确认 → 真正删除。中间任何一步没有 kubelet 参与,Pod 就不会消失,工作负载也就不会按预期重建。排查时先看 Pod 是 Terminating 还是 Pending,再看卷有没有残留 attach,别一上来就怀疑调度器。
- 点赞
- 收藏
- 关注作者
评论(0)