HPA 指标超了却不扩容:先查这六处,别急着加机器
一、先看 describe 的 Events,不要先动节点 kubectl describe hpa <name> 最后一段 Events 是最省时间的线索:failed to get cpu utilization 指指标链路断了;the desired replica count is less than the minimum 说明算出来的目标副本低于 minReplicas;failed to create scaling request 多与权限或配额有关。命令先跑,再决定查哪一层。 二、指标链路:metrics-server 与 apiservice HPA 的 Resource 指标来自 metrics-server,不是 cAdvisor 直连。kubectl top pods 返回 error 或空表,HPA 一定不动。检查 kubectl get apiservice v1beta1.metrics.k8s.io,AVAILABLE 必须是 True;集群若关闭了 metrics-server 插件,或插件版本与集群版本不匹配,都会让 currentMetrics 显示 unknown。External、Object 指标还需要 prometheus-adapter 之类的聚合层,缺了它 HPA 会报 unable to fetch metrics。 三、requests 没设,利用率根本算不出来 Resource 型 HPA 的 utilization 是实际用量除以 requests,targetAverageUtilization 也是相对 requests 的百分比。容器既没写 requests 也没写 limits 时没有分母,该容器数据会被剔除;只写 limits 不写 requests 时,API 会把 requests 默认成 limits,分母被抬高,利用率长期偏低,负载上来了也不扩。补齐贴合实际的 requests 并滚动重建后再看。 四、阈值算法带 10% 容忍度 v2 的公式是 desiredReplicas = ceil(currentReplicas × currentMetric / desiredMetric),且只有比值超出 1±0.1 的容忍区间才触发伸缩。目标设 60%,实际 63% 不会扩。要验证是否真的越过阈值,用 kubectl get hpa 看 TARGETS 列的实时数字,而不是看监控大盘的分钟均值。behavior.scaleUp.stabilizationWindowSeconds 默认 0,但如果被人改成 300,扩容同样会被平滑掉。 五、上限、配额与节点容量 currentReplicas 等于 maxReplicas 时 HPA 无事可做,先确认 maxReplicas 是不是当初的占位值。ResourceQuota 不够时 HPA 会持续请求扩容,但 ReplicaSet 创建 Pod 报 exceeded quota,表现为 HPA 一直在 ScalingActive=True、副本数不动。节点池没有可调度容量时 Pod 会 Pending,这属于集群自动扩缩容的问题,不是 HPA。 六、多容器与 sidecar 把分母放大 一个 Pod 有 app 和 sidecar 两个容器时,利用率是两者用量之和除以两者 requests 之和。sidecar 只占 CPU 不写 requests,或日志 sidecar 的 requests 设得偏高,都会把整体利用率压低,导致该扩的时候不扩。用 ContainerResource 类型的指标可以只盯业务容器,避免被旁路容器稀释。 七、一条固定排查顺序 kubectl top 能出数 → requests 齐全 → TARGETS 越过阈值 10% → maxReplicas 未到顶 → 配额与节点有余量 → 多容器分母合理。按这个顺序走一遍,绝大多数 HPA 不扩容都能定位到具体一层,不需要先加机器。 参考(纯文本): https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/ https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/ https://support.huaweicloud.com/usermanual-cce/
- 点赞
- 收藏
- 关注作者
评论(0)