CCE 云硬盘 PVC 扩容后容器内 df 不涨:allowVolumeExpansion、FileSystemResizePe
## 背景
一个 CCE 1.25 集群,业务是单副本 Deployment 挂一块 100Gi 的 EVS 云硬盘,容量告警到 92%。按常规做法改 PVC:
```bash
kubectl patch pvc data-pvc -p '{"spec":{"resources":{"requests":{"storage":"200Gi"}}}}'
```
几分钟后控制台里云硬盘确实变成了 200Gi,但 `kubectl exec` 进去 `df -h /data` 还是 100G。PVC 的 `status.capacity` 也已经是 200Gi,只有文件系统没变。
## 一、扩容其实是两步,不是一步
PVC 扩容在 CSI 体系里是两段完全不同的动作:
1. **块设备扩容**:`external-resizer` 感知到 `spec.resources.requests.storage` 变化,调用 CSI 的 `ControllerExpandVolume`,把云硬盘的容量改大。这一步在存储侧完成,不需要 Pod 参与。
2. **文件系统扩容**:kubelet 在 Pod 所在节点上调用 CSI 的 `NodeExpandVolume`,对挂载中的设备执行 `resize2fs`(ext4)或 `xfs_growfs`(xfs)。**这一步必须有 kubelet 参与,也就是 Pod 必须在这台节点上运行、卷处于挂载状态。**
所以「硬盘大了但 df 没变」= 第一步成功、第二步没做。
## 二、PVC 卡在 FileSystemResizePending 是什么意思
```bash
kubectl get pvc data-pvc -o jsonpath='{.status.conditions}'
```
会看到:
```
[{type: FileSystemResizePending, status: "True", message: "Waiting for user to (re-)start a pod to finish file system resize of volume on node."}]
```
这条 condition 的意思是:块设备已经扩完,文件系统扩容**要等一个挂载了该卷的 Pod 才能执行**。常见于三种情况:
- Pod 此时没在跑(被删了、在 Pending、或者副本数为 0);
- Pod 跑在一台 kubelet 版本较老、或 CSI node 插件没更新的节点上,`NodeExpandVolume` 一直失败;
- 卷是 `ReadWriteMany` 的文件存储(SFS),走的是另一套逻辑,`FileSystemResizePending` 会一直挂着不出来。
最直接的解法:把 Pod 重启一次(`kubectl rollout restart deploy/xxx` 或者删 Pod 让控制器重建),新 Pod 起来后 kubelet 挂载时会检测到「设备比文件系统大」,自动执行扩容。实测 30 秒内 `df` 就变成 200G。
## 三、ext4 和 xfs 的条件不一样
| 文件系统 | 在线扩容命令 | 能否在挂载状态下扩 | 注意事项 |
|---|---|---|---|
| ext4 | `resize2fs` | 可以(内核 3.6+ 在线扩) | 只能扩不能缩;`resize2fs` 需设备路径,kubelet 自动调用 |
| xfs | `xfs_growfs` | 可以,但**必须挂在挂载点上扩** | 只能扩不能缩;老 xfs 不支持 `-d` 以外的参数 |
两个容易踩的点:
1. **xfs 不能缩**。如果后来想把 200Gi 改回 100Gi,K8s 会直接拒绝(PVC 的 `spec.resources.requests.storage` 只允许增大,API 层就报 `Forbidden: field can not be less than previous value`)。真需要缩小只能新建 PVC 搬数据。
2. **ext4 的在线扩容有内核版本要求**。极老的内核(2.6 时代)不支持挂载状态下 resize,CCE 现在用的内核都满足,但如果你的节点是自建混部节点要注意。
## 四、还有两个前置条件容易被忽略
**StorageClass 必须允许扩容**:
```yaml
allowVolumeExpansion: true
```
CCE 的 `csi-disk` 默认是 `true`,但自建的 StorageClass 常常漏写。漏写时 `kubectl patch pvc` 会直接被 admission 拒绝:`persistentvolumeclaims "data-pvc" is forbidden: only dynamically provisioned pvc can be resized and the storageclass that provisions the pvc must support resize`。
**扩容不能超过云硬盘规格上限**。EVS 单盘最大 32TiB,通用型 SSD 按规格有上限,超过时 `external-resizer` 会一直重试并在 PVC event 里报 `VolumeResizeFailed`。这种情况 `kubectl describe pvc` 里能看到明确原因,别只看控制台的「扩容中」。
## 五、一条排查顺序
```bash
# 1) PVC 现在什么状态
kubectl get pvc data-pvc -o wide
kubectl describe pvc data-pvc | sed -n '/Events/,$p'
# 2) 有没有 FileSystemResizePending
kubectl get pvc data-pvc -o jsonpath='{.status.conditions[*].type}'
# 3) 卷当前实际大小(块设备层)
kubectl get pv $(kubectl get pvc data-pvc -o jsonpath='{.spec.volumeName}') -o jsonpath='{.spec.capacity.storage}'
# 4) 容器内文件系统大小
kubectl exec deploy/xxx -- df -h /data
```
判断逻辑:`status.capacity` 大了、`df` 没大 → 文件系统扩容没做 → 重启 Pod;`status.capacity` 没大、describe 里有 `VolumeResizeFailed` → 存储侧失败 → 看具体错误(超规格 / 配额 / 磁盘类型不支持)。
## 小结
PVC 扩容不是「改个数字等一会儿」就完事。块设备扩容由 CSI controller 异步完成,文件系统扩容必须有 kubelet 参与,所以要有一个挂载该卷的 Pod 存在。看到 `FileSystemResizePending` 就去重启 Pod,这不是异常状态,而是等你去触发下一步。另外容量规划上别指望能缩回来——PVC 只增不减,做容量预估时留好余量。
- 点赞
- 收藏
- 关注作者
评论(0)