CCE 节点突然把 Pod 全驱逐:系统盘被容器日志和镜像写满,ephemeral-storage 才是真瓶颈
## 背景
CCE 集群(containerd 运行时),节点池 3 台 c7.xlarge.2,系统盘 40GiB,业务数据都走云硬盘 PVC。某天下午几个 Deployment 的 Pod 在几分钟内被反复重建:
```
$ kubectl get pod -o wide
api-5f7c9d8b4-6xh2p 0/1 Evicted 0 3m <none> node-2
api-5f7c9d8b4-9t4lw 0/1 Evicted 0 3m <none> node-2
```
`kubectl describe pod` 里只有一行关键信息:
```
Status: Failed
Reason: Evicted
Message: The node was low on resource: ephemeral-storage.
Threshold quantity: 950Mi, available: 730Mi.
```
节点本身还是 Ready,CPU 和内存都富余,所以第一反应「节点没资源」是错的 —— 被耗尽的是**节点本地临时存储**(ephemeral-storage),和内存、CPU 是两套独立的账。
## 先确认是谁占的
```
$ kubectl describe node node-2 | grep -A6 "Conditions"
Type Status
MemoryPressure False
DiskPressure True KubeletHasDiskPressure ...
```
再登录节点看真实占用(CCE 节点可以直接用控制台的远程登录):
```
$ df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 40G 39G 700M 99% /
$ du -sh /var/lib/containerd /var/log/pods /var/lib/kubelet 2>/dev/null
28G /var/lib/containerd
6.1G /var/log/pods
1.2G /var/lib/kubelet
```
两处真凶:
1. `/var/log/pods` —— 每个容器的 stdout/stderr 都落在这里。默认 `containerLogMaxSize=10Mi`、`containerLogMaxFiles=5`,但业务一旦开了 debug 级别、或者把本该写文件的日志打到 stdout,单节点堆到几个 G 很常见;
2. `/var/lib/containerd` —— 每天发几次版、每次镜像 1.2G,旧镜像不会被自动删除,一周就能积到二十多 G。
## 三步立刻见效
**(1)清掉没用的镜像和已退出容器**
```
$ crictl images | wc -l
$ crictl rmi --prune # 删除没有被任何容器引用的镜像
$ crictl ps -a | grep Exited # 顺手清一批 exited 容器
```
注意别照搬网上的 `docker system prune`:CCE 1.23 之后节点上是 containerd,docker 命令可能根本不存在。
**(2)压住容器日志,并给系统预留空间**
kubelet 的日志轮转参数在 CCE 节点池的 kubelet 配置里:`containerLogMaxSize` 可以调到 `50Mi`,更关键的是把 `containerLogMaxFiles` 从 5 降到 3。同时给 kubelet 加 `--system-reserved=ephemeral-storage=5Gi`,让系统盘的一部分预留给 kubelet 自己,避免镜像写入和业务 Pod 抢同一块盘。
**(3)给 Pod 声明 ephemeral-storage**
这是最容易被忽略的一步。不写 `requests.ephemeral-storage`,调度器完全不知道这个 Pod 会吃本地盘,驱逐时也只按节点整体阈值判断:
```yaml
resources:
requests:
ephemeral-storage: 1Gi
limits:
ephemeral-storage: 2Gi
```
加了 limit 之后,写爆的只是这一个 Pod(状态 `Evicted`、Reason `ephemeral-storage`),节点不会进入 DiskPressure,同节点其它业务不受影响。
## 别忘了 emptyDir 的 sizeLimit
Pod 里只要有 `emptyDir`(缓存、临时文件),一定写 `sizeLimit`:
```yaml
volumes:
- name: cache
emptyDir:
sizeLimit: 2Gi
```
不写就是「能吃多少吃多少」,直到把节点盘写满。写了之后超限时 kubelet 只驱逐这个 Pod,行为可预期得多。
## 收口结果
清镜像 + 收紧日志轮转 + 给核心业务补 `ephemeral-storage` requests/limits 之后,节点 `DiskPressure` 消失、驱逐停止;随后把节点池系统盘从 40G 提到 100G,`system-reserved` 配成 `ephemeral-storage=10Gi`。之后再没出现过「Pod 无缘无故被 Evicted」。
一条判断经验:**看到 `Evicted` 且 Reason 是 `ephemeral-storage`,不要去看内存和 CPU,直接上节点跑 `du -sh /var/lib/containerd /var/log/pods`。**
- 点赞
- 收藏
- 关注作者
评论(0)