ReadWriteOncePod 在 CCE 上到底挡住了什么:同节点双 Pod 挂同一块云硬盘的排查

举报
yd_273983069 发表于 2026/11/07 10:18:45 2026/11/07
【摘要】 RWO 只保证「一个节点」,同节点上两个 Pod 依然能同时挂同一块云硬盘,两个进程各写各的缓存,最后文件系统直接裂开。这篇用 CCE 1.25 + 云硬盘 CSI 实测了 RWOP 的行为边界、滚动更新时新 Pod 卡 Pending 的原因,以及三种不停机的绕法。

## 背景


一个跑在 CCE 1.25 上的业务,用 StatefulSet + 云硬盘(EVS)PVC 做数据盘,accessModes 写的是 `ReadWriteOnce`。某天发现同一个分片的两个副本同时在线(滚动发布时 maxSurge=1),两边的本地缓存互相覆盖,落盘的数据出现了半新半旧的混合状态,索引文件直接损坏。


第一反应是「RWO 不是独占吗」。不是。**RWO 的语义是「一个节点可以读写挂载」,不是「一个 Pod 独占」**。同一个节点上跑两个 Pod,只要它们引用同一个 PVC,CSI 依然会把它挂给两个容器,而且不会报错。真正做单 Pod 独占的是 1.22 起进入 beta、1.27 转正的 `ReadWriteOncePod`(RWOP)。


## 实测:RWOP 在 CCE 上的表现


把 PVC 的 accessModes 改成 `ReadWriteOncePod` 后重建:


1. 单个 Pod 正常挂载,读写无异常;

2. 在**另一个节点**上调度第二个 Pod,调度器直接跳过该节点,Pod 一直 Pending,事件里是 `node(s) didn't find available persistent volumes to bind`;

3. 在**同一节点**上调度第二个 Pod,Pod 起来后卡在 ContainerCreating,事件:


```

Warning FailedAttachVolume volume is already used by pod(s) xxx-0

```


这就是我们要的效果——它在 attach 层做了排他。但代价也很直接:**滚动更新会卡住**。


## 为什么滚动更新会卡


Deployment/StatefulSet 的默认策略是先起新 Pod、再删旧 Pod(maxSurge>0 或 StatefulSet 的 `OrderedReady` 配合 `podManagementPolicy`)。新 Pod 一创建就要 attach 这块盘,而此时盘还被旧 Pod 占着,于是新 Pod 永远卡在 ContainerCreating,旧的又不会被删,形成死锁,直到 `progressDeadlineSeconds` 超时告警。


这不是 bug,是 RWOP 的设计前提:**它假设你更新时是先停后起**。


## 三种可行做法


**一、Deployment 用 Recreate 策略**


```yaml

spec:

  strategy:

    type: Recreate

```


先删旧再起新,天然满足独占。代价是有停机窗口(Pod 终止 + 重新 attach,云硬盘 attach 一般 10~30 秒)。对有状态服务、且必须独占盘的场景,这是最省事的。


**二、StatefulSet 关掉并行走**


StatefulSet 默认 `podManagementPolicy: OrderedReady`,滚动更新会一个一个来(倒序),本身就不会同时存在两个同序号的 Pod。但如果你的副本数 >1 且共用同一块盘(不该这么设计),或者用了 `Parallel`,就会撞上。检查 `updateStrategy.rollingUpdate.partition`,必要时用 partition 分批。


**三、真需要多 Pod 并发读,就别用块存储**


如果业务确实要多副本共享数据,EVS 这类块设备从原理上就不合适(它没有集群文件系统的锁和一致性语义)。要么换 SFS(NFS,`ReadWriteMany`),要么把「共享」这一层挪到对象存储/数据库。指望 RWO/RWOP 解决多写一致性是方向性错误。


## 几个容易踩的细节


- **RWOP 需要 CSI 驱动支持**。CCE 的云硬盘 CSI 在新版本已支持,但老集群升级上来的驱动可能不认,表现是 PVC 一直 Pending、事件里没有明确报错。升级驱动前先在测试集群验证。

- **改 accessModes 不能原地改**,PVC 的 spec 基本不可变,必须删了重建(数据在 EVS 上,PV 用 `Retain` 保留就不会丢)。顺序:缩容到 0 → 删 PVC(保留 PV)→ 用原 PV 建新 PVC 指定 RWOP → 扩容。

- **attach 是一次性的、节点级的**。RWOP 的排他判定不在挂载点,而在 VolumeAttachment,所以它挡得住跨节点也挡得住同节点,但挡不住「同一个 Pod 里两个容器」——那是同一个 Pod,本来就是一个 attach。

- **Terminating 的 Pod 也会占着盘**。`terminationGracePeriodSeconds` 设太大(比如 300 秒),旧 Pod 卡在 Terminating 期间新 Pod 一样 attach 不上。改 RWOP 后建议把这个值收到 30 秒以内,并确认应用能在这个时间内退出。


## 结论


RWO 不是独占,RWOP 才是;RWOP 的代价是必须「先停后起」,滚动更新要么用 Recreate,要么接受 Pending 等旧 Pod 退出。选型上先问一句:这块盘到底需不需要多个 Pod 同时写?需要就不该用块存储。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。