CCE 节点突然把 Pod 全驱逐:系统盘被容器日志和镜像写满,ephemeral-storage 才是真瓶颈

举报
yd_273983069 发表于 2026/11/13 10:14:23 2026/11/13
【摘要】 几个 Pod 同时变 Evicted,Reason 是 The node was low on resource: ephemeral-storage,但节点 Ready、CPU 内存都富余。真正被吃光的是节点本地临时存储:/var/log/pods 的容器 stdout 和 /var/lib/containerd 的历史镜像。本文给出定位命令、kubelet 侧收口参数,以及为什么必须给 Pod

## 背景


CCE 集群(containerd 运行时),节点池 3 台 c7.xlarge.2,系统盘 40GiB,业务数据都走云硬盘 PVC。某天下午几个 Deployment 的 Pod 在几分钟内被反复重建:


```

$ kubectl get pod -o wide

api-5f7c9d8b4-6xh2p 0/1 Evicted 0 3m <none> node-2

api-5f7c9d8b4-9t4lw 0/1 Evicted 0 3m <none> node-2

```


`kubectl describe pod` 里只有一行关键信息:


```

Status: Failed

Reason: Evicted

Message: The node was low on resource: ephemeral-storage.

          Threshold quantity: 950Mi, available: 730Mi.

```


节点本身还是 Ready,CPU 和内存都富余,所以第一反应「节点没资源」是错的 —— 被耗尽的是**节点本地临时存储**(ephemeral-storage),和内存、CPU 是两套独立的账。


## 先确认是谁占的


```

$ kubectl describe node node-2 | grep -A6 "Conditions"

  Type Status

  MemoryPressure False

  DiskPressure True KubeletHasDiskPressure ...

```


再登录节点看真实占用(CCE 节点可以直接用控制台的远程登录):


```

$ df -h /

Filesystem Size Used Avail Use% Mounted on

/dev/vda1 40G 39G 700M 99% /


$ du -sh /var/lib/containerd /var/log/pods /var/lib/kubelet 2>/dev/null

28G /var/lib/containerd

6.1G /var/log/pods

1.2G /var/lib/kubelet

```


两处真凶:


1. `/var/log/pods` —— 每个容器的 stdout/stderr 都落在这里。默认 `containerLogMaxSize=10Mi`、`containerLogMaxFiles=5`,但业务一旦开了 debug 级别、或者把本该写文件的日志打到 stdout,单节点堆到几个 G 很常见;

2. `/var/lib/containerd` —— 每天发几次版、每次镜像 1.2G,旧镜像不会被自动删除,一周就能积到二十多 G。


## 三步立刻见效


**(1)清掉没用的镜像和已退出容器**


```

$ crictl images | wc -l

$ crictl rmi --prune # 删除没有被任何容器引用的镜像

$ crictl ps -a | grep Exited # 顺手清一批 exited 容器

```


注意别照搬网上的 `docker system prune`:CCE 1.23 之后节点上是 containerd,docker 命令可能根本不存在。


**(2)压住容器日志,并给系统预留空间**


kubelet 的日志轮转参数在 CCE 节点池的 kubelet 配置里:`containerLogMaxSize` 可以调到 `50Mi`,更关键的是把 `containerLogMaxFiles` 从 5 降到 3。同时给 kubelet 加 `--system-reserved=ephemeral-storage=5Gi`,让系统盘的一部分预留给 kubelet 自己,避免镜像写入和业务 Pod 抢同一块盘。


**(3)给 Pod 声明 ephemeral-storage**


这是最容易被忽略的一步。不写 `requests.ephemeral-storage`,调度器完全不知道这个 Pod 会吃本地盘,驱逐时也只按节点整体阈值判断:


```yaml

resources:

  requests:

    ephemeral-storage: 1Gi

  limits:

    ephemeral-storage: 2Gi

```


加了 limit 之后,写爆的只是这一个 Pod(状态 `Evicted`、Reason `ephemeral-storage`),节点不会进入 DiskPressure,同节点其它业务不受影响。


## 别忘了 emptyDir 的 sizeLimit


Pod 里只要有 `emptyDir`(缓存、临时文件),一定写 `sizeLimit`:


```yaml

volumes:

- name: cache

  emptyDir:

    sizeLimit: 2Gi

```


不写就是「能吃多少吃多少」,直到把节点盘写满。写了之后超限时 kubelet 只驱逐这个 Pod,行为可预期得多。


## 收口结果


清镜像 + 收紧日志轮转 + 给核心业务补 `ephemeral-storage` requests/limits 之后,节点 `DiskPressure` 消失、驱逐停止;随后把节点池系统盘从 40G 提到 100G,`system-reserved` 配成 `ephemeral-storage=10Gi`。之后再没出现过「Pod 无缘无故被 Evicted」。


一条判断经验:**看到 `Evicted` 且 Reason 是 `ephemeral-storage`,不要去看内存和 CPU,直接上节点跑 `du -sh /var/lib/containerd /var/log/pods`。**

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。