ReadWriteOncePod 在 CCE 上到底挡住了什么:同节点双 Pod 挂同一块云硬盘的排查
## 背景
一个跑在 CCE 1.25 上的业务,用 StatefulSet + 云硬盘(EVS)PVC 做数据盘,accessModes 写的是 `ReadWriteOnce`。某天发现同一个分片的两个副本同时在线(滚动发布时 maxSurge=1),两边的本地缓存互相覆盖,落盘的数据出现了半新半旧的混合状态,索引文件直接损坏。
第一反应是「RWO 不是独占吗」。不是。**RWO 的语义是「一个节点可以读写挂载」,不是「一个 Pod 独占」**。同一个节点上跑两个 Pod,只要它们引用同一个 PVC,CSI 依然会把它挂给两个容器,而且不会报错。真正做单 Pod 独占的是 1.22 起进入 beta、1.27 转正的 `ReadWriteOncePod`(RWOP)。
## 实测:RWOP 在 CCE 上的表现
把 PVC 的 accessModes 改成 `ReadWriteOncePod` 后重建:
1. 单个 Pod 正常挂载,读写无异常;
2. 在**另一个节点**上调度第二个 Pod,调度器直接跳过该节点,Pod 一直 Pending,事件里是 `node(s) didn't find available persistent volumes to bind`;
3. 在**同一节点**上调度第二个 Pod,Pod 起来后卡在 ContainerCreating,事件:
```
Warning FailedAttachVolume volume is already used by pod(s) xxx-0
```
这就是我们要的效果——它在 attach 层做了排他。但代价也很直接:**滚动更新会卡住**。
## 为什么滚动更新会卡
Deployment/StatefulSet 的默认策略是先起新 Pod、再删旧 Pod(maxSurge>0 或 StatefulSet 的 `OrderedReady` 配合 `podManagementPolicy`)。新 Pod 一创建就要 attach 这块盘,而此时盘还被旧 Pod 占着,于是新 Pod 永远卡在 ContainerCreating,旧的又不会被删,形成死锁,直到 `progressDeadlineSeconds` 超时告警。
这不是 bug,是 RWOP 的设计前提:**它假设你更新时是先停后起**。
## 三种可行做法
**一、Deployment 用 Recreate 策略**
```yaml
spec:
strategy:
type: Recreate
```
先删旧再起新,天然满足独占。代价是有停机窗口(Pod 终止 + 重新 attach,云硬盘 attach 一般 10~30 秒)。对有状态服务、且必须独占盘的场景,这是最省事的。
**二、StatefulSet 关掉并行走**
StatefulSet 默认 `podManagementPolicy: OrderedReady`,滚动更新会一个一个来(倒序),本身就不会同时存在两个同序号的 Pod。但如果你的副本数 >1 且共用同一块盘(不该这么设计),或者用了 `Parallel`,就会撞上。检查 `updateStrategy.rollingUpdate.partition`,必要时用 partition 分批。
**三、真需要多 Pod 并发读,就别用块存储**
如果业务确实要多副本共享数据,EVS 这类块设备从原理上就不合适(它没有集群文件系统的锁和一致性语义)。要么换 SFS(NFS,`ReadWriteMany`),要么把「共享」这一层挪到对象存储/数据库。指望 RWO/RWOP 解决多写一致性是方向性错误。
## 几个容易踩的细节
- **RWOP 需要 CSI 驱动支持**。CCE 的云硬盘 CSI 在新版本已支持,但老集群升级上来的驱动可能不认,表现是 PVC 一直 Pending、事件里没有明确报错。升级驱动前先在测试集群验证。
- **改 accessModes 不能原地改**,PVC 的 spec 基本不可变,必须删了重建(数据在 EVS 上,PV 用 `Retain` 保留就不会丢)。顺序:缩容到 0 → 删 PVC(保留 PV)→ 用原 PV 建新 PVC 指定 RWOP → 扩容。
- **attach 是一次性的、节点级的**。RWOP 的排他判定不在挂载点,而在 VolumeAttachment,所以它挡得住跨节点也挡得住同节点,但挡不住「同一个 Pod 里两个容器」——那是同一个 Pod,本来就是一个 attach。
- **Terminating 的 Pod 也会占着盘**。`terminationGracePeriodSeconds` 设太大(比如 300 秒),旧 Pod 卡在 Terminating 期间新 Pod 一样 attach 不上。改 RWOP 后建议把这个值收到 30 秒以内,并确认应用能在这个时间内退出。
## 结论
RWO 不是独占,RWOP 才是;RWOP 的代价是必须「先停后起」,滚动更新要么用 Recreate,要么接受 Pending 等旧 Pod 退出。选型上先问一句:这块盘到底需不需要多个 Pod 同时写?需要就不该用块存储。
- 点赞
- 收藏
- 关注作者
评论(0)