CCE Service 开了 externalTrafficPolicy: Local 后 20% 请求超时:空节点上没有 En
## 背景
一个 CCE 1.25 集群,业务通过 LoadBalancer 类型的 Service 对外提供服务,后端是一个 6 副本的 Deployment。为了在应用日志里拿到客户端真实 IP,按官方文档把 Service 改成:
```yaml
spec:
type: LoadBalancer
externalTrafficPolicy: Local
```
改完之后源 IP 确实拿到了,但上线第二天开始出现「部分请求超时」:同一个域名,用压测工具打 100 次,大约 20~30 次直接 connect timeout,其余正常。诡异的是超时没有规律,重试往往就成功。
## 一、先确认不是后端的问题
```bash
# 直连 Pod IP,100% 成功
curl -sv http://10.0.1.37:8080/healthz
# 走 Service ClusterIP(Cluster 模式路径),也 100% 成功
curl -sv http://10.254.3.18:8080/healthz
```
只有走 ELB 的流量会超时。说明问题在「ELB → 节点 → Pod」这一段,不在业务本身。
## 二、真正的成因:Local 模式下 kube-proxy 只转发给本节点的 Endpoint
`externalTrafficPolicy: Local` 的语义是:**流量只允许转发到与入口节点同一台机器上的 Pod**。kube-proxy 在生成 iptables/IPVS 规则时,只把本节点上 Ready 的 Pod 写进 `KUBE-FW-*` / `KUBE-XLB-*` 链。
而 ELB 的后端地址池挂的是**全部节点**(CCE 默认把节点池里所有节点都挂上去)。于是:
- 请求落到有 Pod 的节点 → 正常转发;
- 请求落到**没有该 Service Pod 的节点** → 规则里一个 endpoint 都没有,包被直接丢弃(或 REJECT),客户端看到的就是 connect timeout。
6 个副本散在 8 台节点上,必然有 2 台节点没有任何副本 —— 打到这两台就必超时。超时比例 ≈ 空节点数 / 总节点数,和观察到的 20~30% 完全吻合。
验证方法(在空节点上执行):
```bash
# 看 Service 的 endpoint 在本节点有没有
iptables-save -t nat | grep -A3 'KUBE-XLB-<svc-hash>'
# Local 模式下这里只有本节点 Pod 的 DNAT 规则;没有 Pod 的节点这条链是空的
# 直接在节点上访问 NodePort,会超时
curl -m 3 -sv http://127.0.0.1:31234/healthz
```
顺带一个连带影响:`externalTrafficPolicy: Local` 会额外创建 `healthCheckNodePort`,ELB 用它做节点级健康检查。如果健康检查没配这个端口,ELB 就不知道哪些节点该摘掉,只能继续往空节点打。
## 三、四条路,各有取舍
| 方案 | 做法 | 优点 | 代价 |
|---|---|---|---|
| A. 保证每节点都有副本 | 副本数 ≥ 节点数 + `topologySpreadConstraints` | 源 IP 保留,链路最短 | 节点多的时候副本数暴涨;缩容时段有窗口期 |
| B. 健康检查挂 healthCheckNodePort | ELB 后端健康检查指向 `healthCheckNodePort`,空节点自动 down | 不动应用,副本数自由 | 依赖 ELB 后端摘除速度(默认 10~30s 有窗口) |
| C. 回到 Cluster 模式 + 取真实 IP | `externalTrafficPolicy: Cluster`,用 `X-Forwarded-For` 或 PROXY Protocol | 永不会因为节点无 Pod 而丢包 | 源 IP 变节点 IP,需要 ELB 支持并开启 PROXY Protocol |
| D. hostNetwork | Pod 直接占用节点端口 | 源 IP 天然保留 | 端口冲突、调度密度低,CCE 上不推荐 |
我们最后选的是 **B + A 的轻量组合**:副本数从 6 提到 8(等于节点数),同时把 ELB 后端健康检查改成 `healthCheckNodePort`。改完压测 2000 次零超时。
`topologySpreadConstraints` 的写法(保证每节点最多一个副本):
```yaml
spec:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: demo-api
```
注意 `whenUnsatisfiable: DoNotSchedule` 在节点比副本多的时候会让多余的 Pod 一直 Pending —— 这是符合预期的(宁可 Pending 也不要落到空节点上造成丢包),但要配合 HPA 的下限一起考虑。
## 四、几个容易误判的点
1. **不是「LB 没摘除不健康节点」**。节点本身是健康的,kubelet、kube-proxy 都正常,只是这个 Service 在该节点没有后端。ELB 的 TCP 健康检查如果配的是节点端口,空节点照样回 RST 而不是超时,看起来「健康」。
2. **IPVS 模式下表现一样**。有人以为换成 IPVS 就会跨节点转发,不会 —— `externalTrafficPolicy` 的语义在两种 proxy 模式下是一致的。
3. **`sessionAffinity: ClientIP` 会放大问题**。一旦某客户端被粘到空节点,它会持续失败,直到连接超时重连。
4. **灰度期最容易踩**。刚改 `externalTrafficPolicy` 时 kube-proxy 要重新同步规则,滚动期间新旧规则并存,会出现几十秒的抖动,别在这个窗口里做压测结论。
## 小结
`externalTrafficPolicy: Local` 换源 IP 的代价是「节点即后端」,节点上没有副本就等于该节点不可用。要么保证副本盖满节点,要么让 ELB 通过 `healthCheckNodePort` 把空节点摘掉,要么放弃源 IP 走 Cluster 模式。三条路都能走通,但必须选一条,不能像我们一样只改了字段就上线。
- 点赞
- 收藏
- 关注作者
评论(0)