CCE Turbo 集群 Pod 一直 ContainerCreating:子网可用 IP 被 ENI 吃光,报 failed
## 背景
CCE Turbo 集群(VPC 网络,非容器隧道),节点池 4 台 c7.xlarge.2,`maxPods` 调到了 110。某次大促前把业务副本从 40 扩到 120,结果新扩出来的 Pod 有一半卡住:
```
$ kubectl get pod -o wide | grep -v Running
web-7d9f8b6c4-2xk9p 0/1 ContainerCreating 0 12m 10.0.7.132 node-3
web-7d9f8b6c4-qm4tv 0/1 ContainerCreating 0 12m <none> node-4
```
`kubectl describe pod` 的 Events 里只有一行关键信息:
```
Warning FailedCreatePodSandBox 3m kubelet
failed to create pod sandbox: rpc error: code = Unknown desc =
failed to assign an IP address to sandbox: no available IP addresses in subnet
```
节点是 Ready,kubelet 日志没有 OOM、没有 CNI 报错,`/var/lib/docker` 也有空间。
## 排查
### 1. 先确认网络模式
```bash
$ kubectl get node node-3 -o jsonpath='{.metadata.annotations.cce\.io/network-type}'
vpc
```
`vpc` 就是 VPC 网络模式:**每个 Pod 直接拿一张 ENI 辅助弹性网卡的 IP**,不是 overlay。这个模式下 Pod 的 IP 消耗的是**子网的真实地址**,不是节点本地地址池。
### 2. 算一下子网还剩多少地址
```bash
$ hcloud VPC ShowSubnet --subnet_id <subnet-id> | grep -E "cidr|available_ip"
"cidr": "10.0.7.0/24",
"available_ip_address_count": 12
```
`/24` 有 254 个可用地址,只剩 12 个。四台节点,每台 `maxPods=110`,理论上限 440 个 IP —— 子网从第一天就是不够的,只是副本数没上去时看不出来。
### 3. 确认是不是 ENI 配额先到顶
即使子网有地址,单节点的 ENI 辅助 IP 数也有硬上限(c7.xlarge.2 是 4 张 ENI、每张 15 个辅助 IP,含主 IP 一共约 58 个)。两种耗尽的报错长得不一样:
| 现象 | 报错 | 卡在哪 |
|---|---|---|
| 子网没地址 | `no available IP addresses in subnet` | 所有节点一起卡 |
| 单节点 ENI 到顶 | `failed to assign an IP address to sandbox` + `eni ip is exhausted` | 只卡某一台 |
本次是第一种,四台节点同时卡。
## 三种收口方案
**方案 A(最快):扩子网。** 给节点池换一个 `/22` 的子网,或者在现有 VPC 里新建大子网后重建节点池(CCE 的节点池子网创建后不可改,只能新建节点池再迁移)。
**方案 B(省钱):把 maxPods 降下来。** 单节点 110 个 Pod 意味着单节点最多吃 110 个 IP。按实际负载密度算,一般 32~48 就够:
```bash
# 节点池参数里改,注意改完需要滚动重建节点才生效
maxPods: 48
```
**方案 C(长期):换成容器隧道网络。** 容器隧道模式下 Pod IP 走节点本地 `cbr0`/`cni0` 网段,不消耗 VPC 子网地址,节点数再多也不会把子网吃空,代价是跨节点通信多一次封装、不能和 VPC 内其它资源直接互通。
## 一个容易忽略的细节
`maxPods` 的默认值是按机型规格自动算的,但它**只约束 kubelet 调度上限,不校验子网容量**。也就是说平台允许你把 110 填进去,却不会告诉你子网只剩 12 个地址。上线前用下面这条算式核对一遍:
```
所需 IP 数 = 节点数 × maxPods + 预留 20%
子网容量 = 2^(32-掩码) - 5(AWS/华为云都会保留几个)
```
四台 × 110 = 440,`/24` 的 254 根本装不下 —— 这个冲突在建节点池时就存在,只是扩容才暴露。
- 点赞
- 收藏
- 关注作者
评论(0)