升级前先看 PDB:别让「最小可用数」把节点排水卡死
一、结论先说
节点升级、缩容、维护,最后都落到同一件事:把节点上的 Pod 驱逐走。这一步走的是 Eviction API,PDB 就在这条路上设闸。所以升级前我会先看 kubectl get pdb -A 里的 ALLOWED DISRUPTIONS,而不是先数副本数。某个 PDB 的允许中断数是 0,排水就会一直重试、一直拿不到许可,升级窗口被无限拉长。
二、PDB 管自愿中断,不管别的
PDB 约束的是自愿中断:kubectl drain、节点维护、集群升级时主动发起的驱逐。节点宕机、内核 OOM 这类非自愿中断它管不了。同样,Deployment 滚动更新由控制器直接删旧 Pod 再建新 Pod,不经过 Eviction API,也不受 PDB 约束——滚动更新的可用性要看 Deployment 自己的 maxSurge 与 maxUnavailable。把这两套机制混在一起,是升级前最常见的误判。
三、两个字段二选一,百分比都向上取整
官方文档写得很明确:一个 PDB 里只能设置 maxUnavailable 和 minAvailable 之一。maxUnavailable 还只能用于「由同一个控制器管理」的那组 Pod。
百分比的取整方向值得单说。minAvailable 写成百分比时向上取整,比如 7 个副本、minAvailable 50%,要求保留 4 个可用;maxUnavailable 写成百分比时同样向上取整,官方原文的意思是实际被中断的数量可能超过你写的百分比。
这条结论和直觉相反。很多人以为 maxUnavailable 25% 是「最多坏四分之一」,按 3 副本算成 0 个,实际取整后是 1 个。我的做法是:副本数不多时直接用整数,只有副本数会随 HPA 大幅变化时才用百分比,并且在升级前用 kubectl get pdb 核对一次实际值。
YAML 里 maxUnavailable 的百分比要加引号,不加会被当成数字解析。
四、预算为 0 的两种写法会锁死排水
maxUnavailable 为 0(或 0%)与 minAvailable 为 100%(或等于副本数)语义等价:不允许任何自愿中断。这样的 PDB 等于告诉运维「维护前先来找我」。单副本的有状态服务常被这么配,结果就是节点排水永远卡住。
我的建议是留一个余量:多副本无状态服务从 maxUnavailable 1 起步;有状态、需要保持多数派的,按 minAvailable 等于副本数减 1 配,并确认剩下的是否真能扛住流量。不要配 100%。
五、不健康的 Pod 谁来放行
PDB 的 spec 里还有一个 unhealthyPodEvictionPolicy,默认值是 IfHealthyBudget:运行中但不健康的 Pod,只有不破坏预算时才允许驱逐。也就是说,一个长期 CrashLoopBackOff 的 Pod 可能把整个排水拖住。需要时把它改成 AlwaysAllow,允许在预算之外先清走不健康 Pod。改之前要清楚:这时驱逐不看可用数,业务侧要靠多副本和就绪探针兜底。
六、CCE 排水前我会核对的四件事
CCE 的节点排水用于节点维护、升级或缩容,作用是把节点上的业务 Pod 安全驱逐,让业务平滑迁移;排水时节点先被置为不可调度,后续新建 Pod 不会再调度上去。升级前我按这个顺序核对:
1. 看预算:执行 kubectl get pdb -A,记下 ALLOWED DISRUPTIONS 为 0 的对象。
2. 看选择器:PDB 的 selector 必须和工作负载标签对得上;写错标签,PDB 看起来存在,实际一个 Pod 也没保护。
3. 看副本和分布:PDB 只看匹配到的 Pod 总数,不看它们分散在几个节点。如果某个工作负载全部副本都在待排水节点上,驱逐一个就可能触碰预算。
4. 看优雅退出:Pod 的 terminationGracePeriodSeconds 与 preStop 决定排水要等多久;缩容排水时间偏长,通常就是这里和优雅退出叠加的结果。
七、三个常见误配
一是 selector 写错导致 PDB 形同虚设;二是把 PDB 当成滚动更新的保护,结果滚动更新照样按 Deployment 的 maxUnavailable 批量替换;三是排水卡住后直接用 --disable-eviction 绕过,这一步确实能让节点下线,但也同时绕过了 PDB,等于把「一次少停几个」的约束丢掉。真到了必须强制下线的地步,我会先确认业务能接受,再执行。
参考:
https://kubernetes.io/zh-cn/docs/concepts/workloads/pods/disruptions/
https://kubernetes.io/docs/tasks/run-application/configure-pdb/
https://kubernetes.io/docs/reference/kubernetes-api/policy/pod-disruption-budget-v1/
https://support.huaweicloud.com/intl/zh-cn/productdesc-cce/cce_productdesc_0014.html
https://support.huaweicloud.com/usermanual-cce/cce_10_0296.html
八、升级当天的操作顺序
我的顺序是:先在测试集群或一个批次节点上排水,观察 PDB 的允许中断数是否在驱逐后恢复;再按节点分批推进,不把整池节点同时排空;每批结束核对一遍 Pod 是否在其他节点重建成功、就绪探针是否通过。排水失败时先回头查 PDB 和副本分布,而不是先用 --force 或 --disable-eviction 把节点强行摘掉。
还有一点容易忽略:PDB 只保护匹配到的 Pod,不保护「没有副本」的单点。单副本服务即使配了 PDB,驱逐时也只是保证「零可用」不被打破,业务该断还是会断。要真正平滑,副本数、反亲和与 PDB 三者得一起看。
- 点赞
- 收藏
- 关注作者
评论(0)