CCE 云硬盘 PVC 扩容后容器内 df 不涨:allowVolumeExpansion、FileSystemResizePe

举报
yd_273983069 发表于 2026/11/09 10:13:52 2026/11/09
【摘要】 改大 PVC 的 requests.storage 之后,云硬盘在控制台已经变大,容器里 df -h 却纹丝不动。原因是扩容分「块设备」和「文件系统」两步,第二步要 kubelet 在 Pod 运行时才能做。这篇用 CCE 1.25 + everest CSI 实测,拆开两个阶段、说明 PVC 为什么停在 FileSystemResizePending、以及 ext4/xfs 各自要满足什么条件才

## 背景


一个 CCE 1.25 集群,业务是单副本 Deployment 挂一块 100Gi 的 EVS 云硬盘,容量告警到 92%。按常规做法改 PVC:


```bash

kubectl patch pvc data-pvc -p '{"spec":{"resources":{"requests":{"storage":"200Gi"}}}}'

```


几分钟后控制台里云硬盘确实变成了 200Gi,但 `kubectl exec` 进去 `df -h /data` 还是 100G。PVC 的 `status.capacity` 也已经是 200Gi,只有文件系统没变。


## 一、扩容其实是两步,不是一步


PVC 扩容在 CSI 体系里是两段完全不同的动作:


1. **块设备扩容**:`external-resizer` 感知到 `spec.resources.requests.storage` 变化,调用 CSI 的 `ControllerExpandVolume`,把云硬盘的容量改大。这一步在存储侧完成,不需要 Pod 参与。

2. **文件系统扩容**:kubelet 在 Pod 所在节点上调用 CSI 的 `NodeExpandVolume`,对挂载中的设备执行 `resize2fs`(ext4)或 `xfs_growfs`(xfs)。**这一步必须有 kubelet 参与,也就是 Pod 必须在这台节点上运行、卷处于挂载状态。**


所以「硬盘大了但 df 没变」= 第一步成功、第二步没做。


## 二、PVC 卡在 FileSystemResizePending 是什么意思


```bash

kubectl get pvc data-pvc -o jsonpath='{.status.conditions}'

```


会看到:


```

[{type: FileSystemResizePending, status: "True", message: "Waiting for user to (re-)start a pod to finish file system resize of volume on node."}]

```


这条 condition 的意思是:块设备已经扩完,文件系统扩容**要等一个挂载了该卷的 Pod 才能执行**。常见于三种情况:


- Pod 此时没在跑(被删了、在 Pending、或者副本数为 0);

- Pod 跑在一台 kubelet 版本较老、或 CSI node 插件没更新的节点上,`NodeExpandVolume` 一直失败;

- 卷是 `ReadWriteMany` 的文件存储(SFS),走的是另一套逻辑,`FileSystemResizePending` 会一直挂着不出来。


最直接的解法:把 Pod 重启一次(`kubectl rollout restart deploy/xxx` 或者删 Pod 让控制器重建),新 Pod 起来后 kubelet 挂载时会检测到「设备比文件系统大」,自动执行扩容。实测 30 秒内 `df` 就变成 200G。


## 三、ext4 和 xfs 的条件不一样


| 文件系统 | 在线扩容命令 | 能否在挂载状态下扩 | 注意事项 |

|---|---|---|---|

| ext4 | `resize2fs` | 可以(内核 3.6+ 在线扩) | 只能扩不能缩;`resize2fs` 需设备路径,kubelet 自动调用 |

| xfs | `xfs_growfs` | 可以,但**必须挂在挂载点上扩** | 只能扩不能缩;老 xfs 不支持 `-d` 以外的参数 |


两个容易踩的点:


1. **xfs 不能缩**。如果后来想把 200Gi 改回 100Gi,K8s 会直接拒绝(PVC 的 `spec.resources.requests.storage` 只允许增大,API 层就报 `Forbidden: field can not be less than previous value`)。真需要缩小只能新建 PVC 搬数据。

2. **ext4 的在线扩容有内核版本要求**。极老的内核(2.6 时代)不支持挂载状态下 resize,CCE 现在用的内核都满足,但如果你的节点是自建混部节点要注意。


## 四、还有两个前置条件容易被忽略


**StorageClass 必须允许扩容**:


```yaml

allowVolumeExpansion: true

```


CCE 的 `csi-disk` 默认是 `true`,但自建的 StorageClass 常常漏写。漏写时 `kubectl patch pvc` 会直接被 admission 拒绝:`persistentvolumeclaims "data-pvc" is forbidden: only dynamically provisioned pvc can be resized and the storageclass that provisions the pvc must support resize`。


**扩容不能超过云硬盘规格上限**。EVS 单盘最大 32TiB,通用型 SSD 按规格有上限,超过时 `external-resizer` 会一直重试并在 PVC event 里报 `VolumeResizeFailed`。这种情况 `kubectl describe pvc` 里能看到明确原因,别只看控制台的「扩容中」。


## 五、一条排查顺序


```bash

# 1) PVC 现在什么状态

kubectl get pvc data-pvc -o wide

kubectl describe pvc data-pvc | sed -n '/Events/,$p'

# 2) 有没有 FileSystemResizePending

kubectl get pvc data-pvc -o jsonpath='{.status.conditions[*].type}'

# 3) 卷当前实际大小(块设备层)

kubectl get pv $(kubectl get pvc data-pvc -o jsonpath='{.spec.volumeName}') -o jsonpath='{.spec.capacity.storage}'

# 4) 容器内文件系统大小

kubectl exec deploy/xxx -- df -h /data

```


判断逻辑:`status.capacity` 大了、`df` 没大 → 文件系统扩容没做 → 重启 Pod;`status.capacity` 没大、describe 里有 `VolumeResizeFailed` → 存储侧失败 → 看具体错误(超规格 / 配额 / 磁盘类型不支持)。


## 小结


PVC 扩容不是「改个数字等一会儿」就完事。块设备扩容由 CSI controller 异步完成,文件系统扩容必须有 kubelet 参与,所以要有一个挂载该卷的 Pod 存在。看到 `FileSystemResizePending` 就去重启 Pod,这不是异常状态,而是等你去触发下一步。另外容量规划上别指望能缩回来——PVC 只增不减,做容量预估时留好余量。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。