StatefulSet 想把数据盘从 100Gi 扩到 200Gi:改 volumeClaimTemplates 先是 Forb
## 现象
CCE 上一个 3 副本的 StatefulSet(跑 MySQL,`volumeClaimTemplates` 里 `storage: 100Gi`,StorageClass 是 `csi-disk`),data 盘用到 85%,于是把模板改成 200Gi:
```bash
kubectl edit sts mysql
# volumeClaimTemplates[0].spec.resources.requests.storage: 100Gi -> 200Gi
```
保存时直接报错:
```
The StatefulSet "mysql" is invalid: spec: Forbidden: updates to statefulset spec for fields
other than 'replicas', 'ordinals', 'template', 'updateStrategy',
'persistentVolumeClaimRetentionPolicy' and 'minReadySeconds' are forbidden
```
换成「先删 StatefulSet 再重建(`--cascade=orphan` 保留 Pod)」把模板改成 200Gi,重建成功、Pod 也在跑,但进去看还是 100G:
```bash
kubectl exec mysql-0 -- df -h /var/lib/mysql
# /dev/vdb 99G 84G 10G 90% /var/lib/mysql
kubectl get pvc
# data-mysql-0 Bound pvc-xxxx 100Gi RWO csi-disk
```
没有任何事件、没有报错,控制台上 PVC 容量、StatefulSet 模板容量、Pod 里 `df` 三者互相不一致,很容易误判成「扩容没生效,再点一次」。
## 两个独立的原因
**① `spec.volumeClaimTemplates` 是不可变字段。** StatefulSet 的更新校验只放行 `replicas` / `template` / `updateStrategy` / `ordinals` / `minReadySeconds` / `persistentVolumeClaimRetentionPolicy`,改模板里的 `storage` 一律 `Forbidden`。所以「改模板 → 等滚动更新」这条路根本走不通,Helm `upgrade` 同样会失败。
**② 就算把模板改成功,模板也只作用于「之后新建的 Pod」。** StatefulSet 的 PVC 名字是固定的 `<模板名>-<sts名>-<序号>`(`data-mysql-0/1/2`)。PVC 一旦存在,controller 不会因为模板变了去 patch 它。模板和存量 PVC 是两份独立的对象,改前者对后者零影响。
真正的做法是**直接扩 PVC**,并且要满足三个前提。
## 正确做法
### 1. 确认 StorageClass 允许扩容
```bash
kubectl get sc csi-disk -o jsonpath='{.allowVolumeExpansion}'
# true 才能扩
```
CCE 的 `csi-disk`(云硬盘)支持在线扩容;`csi-nas`、`csi-obs` 这类共享/对象存储不支持,`allowVolumeExpansion` 是 false,改 PVC 会被 apiserver 拒掉。
### 2. 逐条 patch PVC(不是改模板)
```bash
for i in 0 1 2; do
kubectl patch pvc data-mysql-$i -p '{"spec":{"resources":{"requests":{"storage":"200Gi"}}}}'
done
kubectl get pvc -w
# data-mysql-0 Bound pvc-xxxx 200Gi RWO csi-disk <- spec 先变
```
`spec.resources.requests.storage` 立刻变 200Gi,但 `status.capacity` 可能还是 100Gi,因为底层云盘和文件系统要异步扩。
### 3. 等 FileSystemResizePending 走完
```bash
kubectl get pvc data-mysql-0 -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'
# Resizing=True External resizer is resizing volume
# FileSystemResizePending=True Waiting for user to (re-)start a pod to finish file system resize
```
看到 `FileSystemResizePending=True` 说明块设备已经扩到 200Gi,只剩文件系统没 grow。**此时把 Pod 删掉重建一次**,kubelet 在挂载时会自动跑 `resize2fs` / `xfs_growfs`:
```bash
kubectl delete pod mysql-0
kubectl exec mysql-0 -- df -h /var/lib/mysql
# /dev/vdb 196G 84G 102G 46% /var/lib/mysql
```
ext4 支持在线扩容,很多情况下不重启 Pod 也能生效;xfs 只能 grow 不能 shrink,且必须在挂载状态下 `xfs_growfs`,如果 kubelet 没自动做,就得进容器手动执行一次。
### 4. 最后把模板值对齐
PVC 都扩完之后,再把 `volumeClaimTemplates` 的 `storage` 改成 200Gi(仍然要走「重建 StatefulSet」这条路,或者干脆保留旧值)。**这一步只影响以后新增的副本**,不做的话,下次扩副本时新 Pod 拿到的还是 100Gi,又会踩一次同样的坑。
## 几个容易翻车的点
- **PVC 只能扩不能缩。** 把 200Gi 改回 100Gi,apiserver 直接拒:`Forbidden: field can not be less than previous value`。容量规划要一次到位。
- **`kubectl rollout restart sts` 不会扩容。** 它只重建 Pod,PVC 是独立对象,重启一万次也还是原容量。判断依据永远是 `kubectl get pvc` 的 CAPACITY,不是 Pod 的 AGE。
- **云盘有单盘上限。** `csi-disk` 单盘上限受云硬盘规格与配额约束,一次跳太大(比如 100Gi → 4TiB)容易触发底层审批,分两次扩更稳。
- **`allowVolumeExpansion` 改不了已经创建的 PVC。** 如果 StorageClass 创建时是 false,patch 成 true 之后,**老 PVC 依然不能扩**,只能新建 SC + 迁移数据。
- **`--cascade=orphan` 删了重建,序号和 PVC 绑定关系会保留**,但如果配了 `volumeClaimRetentionPolicy`,重建时可能触发 PVC 回收策略,操作前先 `kubectl get sts -o yaml` 确认这个字段。
## 判据小结
| 看到什么 | 说明 |
|---|---|
| 改模板报 `Forbidden: updates to statefulset spec` | 正常,`volumeClaimTemplates` 不可变 |
| 模板改了、PVC CAPACITY 没变 | 模板只管新建 Pod,存量 PVC 要单独 patch |
| PVC spec 200Gi / status 100Gi | 正在扩,等 `FileSystemResizePending` |
| `FileSystemResizePending=True` 一直不动 | 块设备好了,等 Pod 重建触发文件系统 grow |
| Pod 里 `df` 还是老容量 | 文件系统没 grow,重启 Pod 或手动 `resize2fs` |
一句话:**扩容的对象是 PVC,不是 StatefulSet 模板。** 模板只是「新 PVC 的出厂设置」,改它既不合法(不可变),也不影响存量。
- 点赞
- 收藏
- 关注作者
评论(0)