CCE Turbo 集群 Pod 一直 ContainerCreating:子网可用 IP 被 ENI 吃光,报 failed

举报
yd_273983069 发表于 2026/11/12 10:16:43 2026/11/12
【摘要】 同一节点池里新增的 Pod 全部卡在 ContainerCreating,事件里只有 failed to assign an IP address to sandbox。节点 NotReady 不是原因,kubelet 也正常,真正被耗尽的是节点所在子网的可用 IP —— VPC 网络模式下每个 Pod 占一张 ENI 辅助 IP,maxPods 调大后单节点能吃掉上百个地址。本文给出定位命令、容

## 背景


CCE Turbo 集群(VPC 网络,非容器隧道),节点池 4 台 c7.xlarge.2,`maxPods` 调到了 110。某次大促前把业务副本从 40 扩到 120,结果新扩出来的 Pod 有一半卡住:


```

$ kubectl get pod -o wide | grep -v Running

web-7d9f8b6c4-2xk9p 0/1 ContainerCreating 0 12m 10.0.7.132 node-3

web-7d9f8b6c4-qm4tv 0/1 ContainerCreating 0 12m <none> node-4

```


`kubectl describe pod` 的 Events 里只有一行关键信息:


```

Warning FailedCreatePodSandBox 3m kubelet

  failed to create pod sandbox: rpc error: code = Unknown desc =

  failed to assign an IP address to sandbox: no available IP addresses in subnet

```


节点是 Ready,kubelet 日志没有 OOM、没有 CNI 报错,`/var/lib/docker` 也有空间。


## 排查


### 1. 先确认网络模式


```bash

$ kubectl get node node-3 -o jsonpath='{.metadata.annotations.cce\.io/network-type}'

vpc

```


`vpc` 就是 VPC 网络模式:**每个 Pod 直接拿一张 ENI 辅助弹性网卡的 IP**,不是 overlay。这个模式下 Pod 的 IP 消耗的是**子网的真实地址**,不是节点本地地址池。


### 2. 算一下子网还剩多少地址


```bash

$ hcloud VPC ShowSubnet --subnet_id <subnet-id> | grep -E "cidr|available_ip"

"cidr": "10.0.7.0/24",

"available_ip_address_count": 12

```


`/24` 有 254 个可用地址,只剩 12 个。四台节点,每台 `maxPods=110`,理论上限 440 个 IP —— 子网从第一天就是不够的,只是副本数没上去时看不出来。


### 3. 确认是不是 ENI 配额先到顶


即使子网有地址,单节点的 ENI 辅助 IP 数也有硬上限(c7.xlarge.2 是 4 张 ENI、每张 15 个辅助 IP,含主 IP 一共约 58 个)。两种耗尽的报错长得不一样:


| 现象 | 报错 | 卡在哪 |

|---|---|---|

| 子网没地址 | `no available IP addresses in subnet` | 所有节点一起卡 |

| 单节点 ENI 到顶 | `failed to assign an IP address to sandbox` + `eni ip is exhausted` | 只卡某一台 |


本次是第一种,四台节点同时卡。


## 三种收口方案


**方案 A(最快):扩子网。** 给节点池换一个 `/22` 的子网,或者在现有 VPC 里新建大子网后重建节点池(CCE 的节点池子网创建后不可改,只能新建节点池再迁移)。


**方案 B(省钱):把 maxPods 降下来。** 单节点 110 个 Pod 意味着单节点最多吃 110 个 IP。按实际负载密度算,一般 32~48 就够:


```bash

# 节点池参数里改,注意改完需要滚动重建节点才生效

maxPods: 48

```


**方案 C(长期):换成容器隧道网络。** 容器隧道模式下 Pod IP 走节点本地 `cbr0`/`cni0` 网段,不消耗 VPC 子网地址,节点数再多也不会把子网吃空,代价是跨节点通信多一次封装、不能和 VPC 内其它资源直接互通。


## 一个容易忽略的细节


`maxPods` 的默认值是按机型规格自动算的,但它**只约束 kubelet 调度上限,不校验子网容量**。也就是说平台允许你把 110 填进去,却不会告诉你子网只剩 12 个地址。上线前用下面这条算式核对一遍:


```

所需 IP 数 = 节点数 × maxPods + 预留 20%

子网容量 = 2^(32-掩码) - 5(AWS/华为云都会保留几个)

```


四台 × 110 = 440,`/24` 的 254 根本装不下 —— 这个冲突在建节点池时就存在,只是扩容才暴露。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。