副本缩到 0 之后:Service 的流量与 DNS 各自会发生什么
先看现象
把 Deployment 的副本数缩到 0,通常不会有人去动 Service。此时 Service 还在、ClusterIP 还能 ping 通(它本来就是虚拟 IP),但从 Pod 里访问这个 Service 的域名,连接要么超时要么被拒。很多人第一反应是 Service 坏了,其实 Service 从来没坏过——它只是没有后端可转了。
Kubernetes 里,Service 本身不保存任何 Pod IP。真正记录后端地址的是 EndpointSlice(老版本叫 Endpoints)。Service 通过 label selector 匹配 Pod,控制面把这些 Pod 的 IP 写进 EndpointSlice,节点上的 kube-proxy 再根据 EndpointSlice 生成转发规则。所以一句话:Service 的 IP 永远在,能不能连通取决于 EndpointSlice 里有没有 ready 的地址。
副本为 0 时,EndpointSlice 不会消失
我查 Kubernetes 官方文档确认过的关键点:对于带 selector 的 Service,即使没有任何匹配的 Pod,控制面也会保留对应的 EndpointSlice,只是它的 endpoints 列表为空(一个空切片)。空切片不会自动删除,要等 Service 本身被删才会消失。这意味着 kubectl get endpointslices 看到的不是「没有这个资源」,而是「这个资源里一个地址都没有」。
这两种状态在排障时差别很大:没有 EndpointSlice,先怀疑 Service 的 selector 写没写、写没写对;有 EndpointSlice 但 endpoints 为空,再考虑是不是真的没有匹配的 Pod,或者匹配的 Pod 全都不 ready。
三个条件:ready、serving、terminating
EndpointSlice 里每个端点带三个条件,我建议排障时逐个看,它们不是一回事:
- ready:端点是否接收流量。Pod 的 Ready 状况为 True 时这个条件才为 True;Pod 正在终止时通常为 False。
- serving:端点是否还在提供流量。和 ready 不同,Pod 即使正在终止(ready 为 False),只要还能处理流量,serving 仍可为 True。这个字段是为了让终止中的 Pod 继续把存量连接处理完。
- terminating:端点是否正在终止。Pod 被删除时置为 True。
排障口诀:ready 为 True 的端点 kube-proxy 才会转发流量;后端列表为空时,先核对 Service 的 selector 和 Pod 的 labels 是否一致,再核对 targetPort 和容器实际监听端口是否一致——这两处写错是最常见的低级错误。
普通 Service:流量进了规则,但没有 DNAT 目标
普通 Service(ClusterIP/NodePort/LoadBalancer)靠 kube-proxy 在每台节点生成 iptables/IPVS 规则。kube-proxy 监听 Service 和 EndpointSlice 的变化,端点列表变了它立刻重算规则。副本缩到 0 时,规则还在(Service 没删),但后端集合空了,DNAT 没有目标地址。结果就是连接发到 ClusterIP 后找不到可转发的后端,表现为连接被拒或超时。
注意 externalTrafficPolicy 的一个边界:默认值是 Cluster,任意节点的规则都可能把流量转到远端节点的 Pod;改成 Local 后,节点只转发到本机 Pod。如果某个节点上恰好一个 Pod 都没有,打到这个节点的流量会直接丢包——副本为 0 时这个问题会瞬间暴露,而不是等到出故障才被发现。
Headless Service:DNS 直接没记录
headless Service(clusterIP: None)不分配 ClusterIP,也不产生转发规则,它只提供 DNS 解析。带 selector 的 headless Service 的 A 记录来自 EndpointSlice:有端点就返回各 Pod IP,端点列表为空就不返回记录(NXDOMAIN 或空结果)。
这一点对 StatefulSet 特别重要:副本缩到 0 再扩容回来,如果只盯着 Pod 状态,容易忽略 headless Service 的 DNS 记录有没有跟着恢复。扩容后 Pod 重新 Ready,控制面把新 IP 写回 EndpointSlice,DNS 才有记录——中间有一小段时间窗口,依赖它的客户端要做好重试。
CCE 上的两个注意点
按华为云 CCE 官方文档:EndpointSlice 的 v1beta1 版本在 CCE 1.25 集群被废弃,如果依赖旧版本 API 的组件没有同步升级,可能拿不到最新的 Service/Endpoint 变更事件,症状是新建 Service 域名解析失败、headless Service 重建后解析到旧 IP。另外在 Kubernetes 1.33 里,老版 Endpoints API 正式废弃(虽然仍可用),官方推荐统一用 EndpointSlice。集群升级前建议检查一下依赖这两个 API 的自研组件。
两个常见误配
- 误配一:缩容后把「连接不通」归因于 Service 或集群网络,其实只要 kubectl get endpointslices -l kubernetes.io/service-name=服务名 看 endpoints 是否为空,一分钟就能定位。
- 误配二:只给普通 Service 做健康检查,不给 headless Service 加就绪探针。headless 的 A 记录只收录 ready 的 Pod,探针缺失会让「半死不活」的 Pod 也被解析到。
小结
副本为 0 不是 Service 故障,是它进入了「有定义、无后端」的合法状态。排障时先分清三种情况:没有 EndpointSlice(selector 没匹配上)、有但为空(真没有可用后端)、有且地址都在但不通(问题在转发链更下层)。普通 Service 看流量,headless Service 看 DNS,两条路径的故障表象完全不同。
参考:
https://kubernetes.io/zh-cn/docs/concepts/services-networking/endpoint-slices/
https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/
https://kubernetes.io/docs/reference/networking/virtual-ips/
https://support.huaweicloud.com/usermanual-cce/cce_bulletin_0105.html
- 点赞
- 收藏
- 关注作者
评论(0)