升级前先看 PDB:别让「最小可用数」把节点排水卡死

举报
williamlewis 发表于 2026/11/05 08:43:59 2026/11/05
【摘要】 节点升级、缩容、维护都要排水,PDB 设得太严会让驱逐一直拿不到许可。本文按 Kubernetes 官方文档梳理 minAvailable 与 maxUnavailable 的语义、百分比取整方向、预算为 0 的后果,以及 CCE 节点排水前该核对什么。

一、结论先说

节点升级、缩容、维护,最后都落到同一件事:把节点上的 Pod 驱逐走。这一步走的是 Eviction API,PDB 就在这条路上设闸。所以升级前我会先看 kubectl get pdb -A 里的 ALLOWED DISRUPTIONS,而不是先数副本数。某个 PDB 的允许中断数是 0,排水就会一直重试、一直拿不到许可,升级窗口被无限拉长。

二、PDB 管自愿中断,不管别的

PDB 约束的是自愿中断:kubectl drain、节点维护、集群升级时主动发起的驱逐。节点宕机、内核 OOM 这类非自愿中断它管不了。同样,Deployment 滚动更新由控制器直接删旧 Pod 再建新 Pod,不经过 Eviction API,也不受 PDB 约束——滚动更新的可用性要看 Deployment 自己的 maxSurge 与 maxUnavailable。把这两套机制混在一起,是升级前最常见的误判。

三、两个字段二选一,百分比都向上取整

官方文档写得很明确:一个 PDB 里只能设置 maxUnavailable 和 minAvailable 之一。maxUnavailable 还只能用于「由同一个控制器管理」的那组 Pod。

百分比的取整方向值得单说。minAvailable 写成百分比时向上取整,比如 7 个副本、minAvailable 50%,要求保留 4 个可用;maxUnavailable 写成百分比时同样向上取整,官方原文的意思是实际被中断的数量可能超过你写的百分比。

这条结论和直觉相反。很多人以为 maxUnavailable 25% 是「最多坏四分之一」,按 3 副本算成 0 个,实际取整后是 1 个。我的做法是:副本数不多时直接用整数,只有副本数会随 HPA 大幅变化时才用百分比,并且在升级前用 kubectl get pdb 核对一次实际值。

YAML 里 maxUnavailable 的百分比要加引号,不加会被当成数字解析。

四、预算为 0 的两种写法会锁死排水

maxUnavailable 为 0(或 0%)与 minAvailable 为 100%(或等于副本数)语义等价:不允许任何自愿中断。这样的 PDB 等于告诉运维「维护前先来找我」。单副本的有状态服务常被这么配,结果就是节点排水永远卡住。

我的建议是留一个余量:多副本无状态服务从 maxUnavailable 1 起步;有状态、需要保持多数派的,按 minAvailable 等于副本数减 1 配,并确认剩下的是否真能扛住流量。不要配 100%。

五、不健康的 Pod 谁来放行

PDB 的 spec 里还有一个 unhealthyPodEvictionPolicy,默认值是 IfHealthyBudget:运行中但不健康的 Pod,只有不破坏预算时才允许驱逐。也就是说,一个长期 CrashLoopBackOff 的 Pod 可能把整个排水拖住。需要时把它改成 AlwaysAllow,允许在预算之外先清走不健康 Pod。改之前要清楚:这时驱逐不看可用数,业务侧要靠多副本和就绪探针兜底。

六、CCE 排水前我会核对的四件事

CCE 的节点排水用于节点维护、升级或缩容,作用是把节点上的业务 Pod 安全驱逐,让业务平滑迁移;排水时节点先被置为不可调度,后续新建 Pod 不会再调度上去。升级前我按这个顺序核对:

1. 看预算:执行 kubectl get pdb -A,记下 ALLOWED DISRUPTIONS 为 0 的对象。

2. 看选择器:PDB 的 selector 必须和工作负载标签对得上;写错标签,PDB 看起来存在,实际一个 Pod 也没保护。

3. 看副本和分布:PDB 只看匹配到的 Pod 总数,不看它们分散在几个节点。如果某个工作负载全部副本都在待排水节点上,驱逐一个就可能触碰预算。

4. 看优雅退出:Pod 的 terminationGracePeriodSeconds 与 preStop 决定排水要等多久;缩容排水时间偏长,通常就是这里和优雅退出叠加的结果。

七、三个常见误配

一是 selector 写错导致 PDB 形同虚设;二是把 PDB 当成滚动更新的保护,结果滚动更新照样按 Deployment 的 maxUnavailable 批量替换;三是排水卡住后直接用 --disable-eviction 绕过,这一步确实能让节点下线,但也同时绕过了 PDB,等于把「一次少停几个」的约束丢掉。真到了必须强制下线的地步,我会先确认业务能接受,再执行。

参考:

https://kubernetes.io/zh-cn/docs/concepts/workloads/pods/disruptions/

https://kubernetes.io/docs/tasks/run-application/configure-pdb/

https://kubernetes.io/docs/reference/kubernetes-api/policy/pod-disruption-budget-v1/

https://support.huaweicloud.com/intl/zh-cn/productdesc-cce/cce_productdesc_0014.html

https://support.huaweicloud.com/usermanual-cce/cce_10_0296.html

八、升级当天的操作顺序

我的顺序是:先在测试集群或一个批次节点上排水,观察 PDB 的允许中断数是否在驱逐后恢复;再按节点分批推进,不把整池节点同时排空;每批结束核对一遍 Pod 是否在其他节点重建成功、就绪探针是否通过。排水失败时先回头查 PDB 和副本分布,而不是先用 --force 或 --disable-eviction 把节点强行摘掉。

还有一点容易忽略:PDB 只保护匹配到的 Pod,不保护「没有副本」的单点。单副本服务即使配了 PDB,驱逐时也只是保证「零可用」不被打破,业务该断还是会断。要真正平滑,副本数、反亲和与 PDB 三者得一起看。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。