StatefulSet 想把数据盘从 100Gi 扩到 200Gi:改 volumeClaimTemplates 先是 Forb

举报
yd_273983069 发表于 2026/11/15 10:10:01 2026/11/15
【摘要】 StatefulSet 数据盘满了想扩容,第一反应是把 volumeClaimTemplates 里的 storage 改大,结果 apply 直接被 Forbidden(该字段不可变);就算重建 StatefulSet 把模板改成 200Gi,既有 PVC 仍然是 100Gi —— 模板只作用于之后新建的 Pod。本文给出「逐条 patch PVC + StorageClass 允许扩容 + F

## 现象


CCE 上一个 3 副本的 StatefulSet(跑 MySQL,`volumeClaimTemplates` 里 `storage: 100Gi`,StorageClass 是 `csi-disk`),data 盘用到 85%,于是把模板改成 200Gi:


```bash

kubectl edit sts mysql

# volumeClaimTemplates[0].spec.resources.requests.storage: 100Gi -> 200Gi

```


保存时直接报错:


```

The StatefulSet "mysql" is invalid: spec: Forbidden: updates to statefulset spec for fields

other than 'replicas', 'ordinals', 'template', 'updateStrategy',

'persistentVolumeClaimRetentionPolicy' and 'minReadySeconds' are forbidden

```


换成「先删 StatefulSet 再重建(`--cascade=orphan` 保留 Pod)」把模板改成 200Gi,重建成功、Pod 也在跑,但进去看还是 100G:


```bash

kubectl exec mysql-0 -- df -h /var/lib/mysql

# /dev/vdb 99G 84G 10G 90% /var/lib/mysql

kubectl get pvc

# data-mysql-0 Bound pvc-xxxx 100Gi RWO csi-disk

```


没有任何事件、没有报错,控制台上 PVC 容量、StatefulSet 模板容量、Pod 里 `df` 三者互相不一致,很容易误判成「扩容没生效,再点一次」。


## 两个独立的原因


**① `spec.volumeClaimTemplates` 是不可变字段。** StatefulSet 的更新校验只放行 `replicas` / `template` / `updateStrategy` / `ordinals` / `minReadySeconds` / `persistentVolumeClaimRetentionPolicy`,改模板里的 `storage` 一律 `Forbidden`。所以「改模板 → 等滚动更新」这条路根本走不通,Helm `upgrade` 同样会失败。


**② 就算把模板改成功,模板也只作用于「之后新建的 Pod」。** StatefulSet 的 PVC 名字是固定的 `<模板名>-<sts名>-<序号>`(`data-mysql-0/1/2`)。PVC 一旦存在,controller 不会因为模板变了去 patch 它。模板和存量 PVC 是两份独立的对象,改前者对后者零影响。


真正的做法是**直接扩 PVC**,并且要满足三个前提。


## 正确做法


### 1. 确认 StorageClass 允许扩容


```bash

kubectl get sc csi-disk -o jsonpath='{.allowVolumeExpansion}'

# true 才能扩

```


CCE 的 `csi-disk`(云硬盘)支持在线扩容;`csi-nas`、`csi-obs` 这类共享/对象存储不支持,`allowVolumeExpansion` 是 false,改 PVC 会被 apiserver 拒掉。


### 2. 逐条 patch PVC(不是改模板)


```bash

for i in 0 1 2; do

  kubectl patch pvc data-mysql-$i -p '{"spec":{"resources":{"requests":{"storage":"200Gi"}}}}'

done


kubectl get pvc -w

# data-mysql-0 Bound pvc-xxxx 200Gi RWO csi-disk <- spec 先变

```


`spec.resources.requests.storage` 立刻变 200Gi,但 `status.capacity` 可能还是 100Gi,因为底层云盘和文件系统要异步扩。


### 3. 等 FileSystemResizePending 走完


```bash

kubectl get pvc data-mysql-0 -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'

# Resizing=True External resizer is resizing volume

# FileSystemResizePending=True Waiting for user to (re-)start a pod to finish file system resize

```


看到 `FileSystemResizePending=True` 说明块设备已经扩到 200Gi,只剩文件系统没 grow。**此时把 Pod 删掉重建一次**,kubelet 在挂载时会自动跑 `resize2fs` / `xfs_growfs`:


```bash

kubectl delete pod mysql-0

kubectl exec mysql-0 -- df -h /var/lib/mysql

# /dev/vdb 196G 84G 102G 46% /var/lib/mysql

```


ext4 支持在线扩容,很多情况下不重启 Pod 也能生效;xfs 只能 grow 不能 shrink,且必须在挂载状态下 `xfs_growfs`,如果 kubelet 没自动做,就得进容器手动执行一次。


### 4. 最后把模板值对齐


PVC 都扩完之后,再把 `volumeClaimTemplates` 的 `storage` 改成 200Gi(仍然要走「重建 StatefulSet」这条路,或者干脆保留旧值)。**这一步只影响以后新增的副本**,不做的话,下次扩副本时新 Pod 拿到的还是 100Gi,又会踩一次同样的坑。


## 几个容易翻车的点


- **PVC 只能扩不能缩。** 把 200Gi 改回 100Gi,apiserver 直接拒:`Forbidden: field can not be less than previous value`。容量规划要一次到位。

- **`kubectl rollout restart sts` 不会扩容。** 它只重建 Pod,PVC 是独立对象,重启一万次也还是原容量。判断依据永远是 `kubectl get pvc` 的 CAPACITY,不是 Pod 的 AGE。

- **云盘有单盘上限。** `csi-disk` 单盘上限受云硬盘规格与配额约束,一次跳太大(比如 100Gi → 4TiB)容易触发底层审批,分两次扩更稳。

- **`allowVolumeExpansion` 改不了已经创建的 PVC。** 如果 StorageClass 创建时是 false,patch 成 true 之后,**老 PVC 依然不能扩**,只能新建 SC + 迁移数据。

- **`--cascade=orphan` 删了重建,序号和 PVC 绑定关系会保留**,但如果配了 `volumeClaimRetentionPolicy`,重建时可能触发 PVC 回收策略,操作前先 `kubectl get sts -o yaml` 确认这个字段。


## 判据小结


| 看到什么 | 说明 |

|---|---|

| 改模板报 `Forbidden: updates to statefulset spec` | 正常,`volumeClaimTemplates` 不可变 |

| 模板改了、PVC CAPACITY 没变 | 模板只管新建 Pod,存量 PVC 要单独 patch |

| PVC spec 200Gi / status 100Gi | 正在扩,等 `FileSystemResizePending` |

| `FileSystemResizePending=True` 一直不动 | 块设备好了,等 Pod 重建触发文件系统 grow |

| Pod 里 `df` 还是老容量 | 文件系统没 grow,重启 Pod 或手动 `resize2fs` |


一句话:**扩容的对象是 PVC,不是 StatefulSet 模板。** 模板只是「新 PVC 的出厂设置」,改它既不合法(不可变),也不影响存量。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。