CCE 探针别乱配:存活、就绪、启动三种探针的分工与高频误配
在 CCE 上线一个工作负载,探针(Probe)是最容易配错、又最影响稳定性的配置之一。很多人要么三种探针全不配,出问题只能靠肉眼盯;要么把三种探针配成一模一样,结果该摘流量的时候重启了容器,该重启的时候却只是暂时不可用。这三种探针的分工是明确的,不能混用。
三种探针各自管什么
存活探针(livenessProbe)用来检测容器进程是否还活着,作用类似于执行 ps 命令确认进程存在。一旦存活检查连续失败达到阈值,集群会重启该容器,用它来恢复死锁、假死这类靠重启才能解决的故障。
就绪探针(readinessProbe)用来检测业务是否就绪、能不能对外服务。检查失败时集群不会重启容器,只是把该实例从 Service 的后端摘掉、屏蔽外部访问,等它恢复就绪再放流量进来。应用启动慢、要加载数据或等依赖就绪的场景,靠的就是它。
启动探针(startupProbe)只在容器启动阶段执行,用来判断应用什么时候启动完成。在启动探针成功之前,存活和就绪探针都不会生效,这样就能给启动慢的容器争取时间,避免它在真正起来之前就被存活探针判定失败而反复重启。
参数默认值要记准
按 Kubernetes 官方文档,几个公共参数的默认值是:检测周期 periodSeconds 默认 10 秒,延迟时间 initialDelaySeconds 默认 0 秒,超时时间 timeoutSeconds 默认 1 秒,成功阈值 successThreshold 默认 1,最大失败次数 failureThreshold 默认 3。华为云 CCE 的健康检查文档对这些公共参数的含义与之基本一致,并额外明确了一点:存活探针和启动探针的 successThreshold 必须为 1,只有就绪探针可以设成大于 1 的值。timeoutSeconds 若不设置或设为 0,默认按 1 秒处理。检查方式上,CCE 提供 httpGet、tcpSocket、exec、grpc 四种,前三种与 K8s 原生一致。
几个高频误配
第一,给存活探针的 successThreshold 设大于 1 的值。这个参数在存活和启动探针里只能是 1,设了也不生效,属于白费劲。
第二,initialDelaySeconds 拍脑袋设太小。应用要 30 秒才能起,存活探针 3 秒就开始探,启动阶段必然连续失败被重启,形成启动即崩溃的循环。慢启动应用应该交给启动探针,把启动窗口拉长(比如 failureThreshold 配大、periodSeconds 适中,两者相乘覆盖最坏启动时间),而不是靠加大 initialDelaySeconds 硬扛。
第三,就绪探针和存活探针指向同一个重量级接口。就绪探针会被高频调用,如果它背后是一个要查数据库、做大量计算的接口,探测本身就会给服务造成压力,甚至互相拖垮。就绪探针应尽量轻量。
第四,把三种探针配成完全相同的路径和参数,等于放弃了分工——该摘流量时变成了重启,反而放大抖动。
小结
配置顺序上我的取舍是:先用启动探针守住启动窗口,再用就绪探针控制流量接入,最后才用存活探针兜底真故障。三者参数不必一致,就绪探针的 successThreshold 可适当调高以过滤抖动,存活和启动探针保持 successThreshold 为 1。参数数值以上述官方文档为准,不臆造。
参考:
https://support.huaweicloud.com/usermanual-cce-autopilot/cce_11_0112.html
https://kubernetes.io/zh-cn/docs/concepts/workloads/pods/probes/
- 点赞
- 收藏
- 关注作者
评论(0)