无盘复制:repl-diskless-sync 原理与适用场景

举报
yd_287908631 发表于 2026/11/11 00:11:02 2026/11/11
【摘要】 主库流式发送与从库流式加载的配置、代价与选型

全量同步默认先把 RDB 写进主库磁盘再发送,磁盘慢或写不进时,同步就成了瓶颈。无盘复制让 RDB 不落盘、直接在网络上流动。本文讲清主库与从库两侧的开关、攒批机制与适用边界。

一、有盘同步的痛点

有盘全量同步中,主库 BGSAVE 先把 RDB 写成临时文件,再从磁盘读出发送。这条路径的代价:

  • 磁盘先写后读两轮 IO,叠加在线业务的读写压力;
  • 云盘有 IOPS 与吞吐限流,大 RDB 的生成与传输被限速拉长,同步窗口内 COW 与复制缓冲区持续占用;
  • 部分容器环境根文件系统只读或容量极小,临时文件根本写不下。

二、主库侧:repl-diskless-sync

repl-diskless-sync yes
repl-diskless-sync-delay 5
repl-diskless-sync-max-replicas 3

开启后,主库 fork 的子进程把 RDB 直接通过 socket 流式发给从库,不产生临时文件。两个配套参数解决"一次传输服务多个从库":delay 是收到第一个全量请求后的等待窗口,窗口内到达的从库共享同一次传输;max-replicas 是攒批上限,到数即提前开始(Redis 7.0 引入)。默认 delay 5 秒,从库较多的实例可以适当调大,权衡是第一个从库要多等几秒。

实现上,无盘传输并不改变 RDB 的生成方式,只是把写目标从文件换成了网络连接。子进程仍然按 RDB 序列化顺序遍历内存,只是每次 write 调用把数据块推给 socket。因此有三种情况必须回退到有盘模式,否则会直接失败:从库要求的 RDB 需要先落盘后再做压缩或校验的定制场景;主库在传输过程中连接断开且没有其他等待中的从库,这次生成的数据无处可写;以及 socket 写阻塞导致子进程长时间挂起。第三种最隐蔽——网络拥塞时子进程会被 write 阻塞,虽然不阻塞主线程,但 COW 窗口被拉长,内存压力持续累积。

日志与状态都能确认生效:

* Starting BGSAVE for SYNC with target: replicas-list, diskless

对应的有盘日志是 target: disk,两者可以据此判断实际路径。恢复完成后还可能看到 Diskless rdb transfer started by pid ...,说明确实走了流式通道。

三、从库侧:repl-diskless-load

repl-diskless-load swapdb

6.0 起从库也能流式加载:RDB 从 socket 直接解析进内存,不再先落临时文件。三个取值:

| 取值 | 行为 | 代价与风险 |

| --- | --- | --- |

| disabled | 先落盘临时文件再加载 | 占用从库磁盘 |

| on-empty-db | 仅当本地为空库时流式加载,非空则回退落盘 | 行为保守,无数据损坏风险 |

| swapdb | 流式加载到临时 db,完成后与旧 db 原子交换 | 加载期间内存近似翻倍 |

swapdb 提供了失败回滚能力:加载失败旧数据原样保留,部分高可用与迁移工具偏好这个模式;代价是加载期间新旧两份数据并存,内存余量不足时选 on-empty-db。

三个取值的选择可以按"内存余量"这一条主线来判断。假设从库现有 16 GB 数据、机器 32 GB,实际可用约 24 GB:swapdb 在加载期间需要额外 16 GB,总需求 32 GB 会直接 OOM,必须改选 on-empty-db;反过来若内存充裕、并且从库承担读流量不能出现"空窗期",swapdb 的原子交换就是必须的。on-empty-db 的行为要读清:只有本地库为空时才流式加载,非空时静默回退为落盘加加载,这种回退不会报错,容易被误判为"配置没生效",验证时要看日志里的 Diskless rdb load 字样是否存在。

四、取舍与选型

| 场景 | 建议 |

| --- | --- |

| 云盘限流、磁盘慢,网络充足 | 无盘 |

| 根文件系统只读或容量小 | 无盘 |

| 网络带宽紧张 | 有盘,磁盘作中转通常快于网络重传 |

| 从库频繁闪断重连 | 有盘,临时 RDB 在窗口内可复用,无盘需重新生成 |

| 从库内存紧张 | 从库侧保持 disabled,仅主库无盘 |

两个开关相互独立,可以只开主库无盘、从库落盘,这是主库磁盘慢而从库内存紧张的常见组合。

五、演练与观察

# 主库确认无盘配置生效
redis-cli CONFIG GET repl-diskless-sync
redis-cli INFO persistence | grep rdb_bgsave_in_progress

# 挂从库后观察主库日志中的 diskless 字样
tail -f /var/log/redis/redis-server.log | grep -i diskless

演练记录三项数据:同规模数据下有盘与无盘的全量同步总耗时、主库磁盘 IO 曲线(无盘应明显回落)、从库加载期间的内存峰值(swapdb 模式重点看)。这份数据决定生产选型,也决定从库内存余量的规划。

三项数据里最容易读错的是磁盘 IO。有盘模式下的曲线是典型的"先高后空":BGSAVE 阶段写入吞吐拉满,传输阶段读取吞吐拉满,两段之间有一个明显的间隙。无盘模式则看不出这两段,磁盘曲线几乎归零,但网卡发送速率会顶到带宽上限。如果把网络与磁盘放在同一张图上,无盘的瓶颈位置会从磁盘侧整体平移到网络侧——这也意味着无盘模式的故障表现会从"磁盘满了"变成"网络丢包导致传输超时后重新开始"。

另一个值得记录的观察点是主库的内存。有盘模式在 RDB 写完后临时文件仍占磁盘,主库内存只有 COW 部分;无盘模式的 COW 窗口与传输时长严格重合,网络越慢窗口越长。因此判断是否该用无盘,本质上要先测出"RDB 落盘耗时"与"RDB 网络传输耗时"两个数字:落盘慢于传输时无盘收益明显,落盘远快于传输时无盘只是把压力从磁盘搬到了网卡,反而延长了 COW 窗口。

常见坑 / 最佳实践

  1. 开了无盘不调 delay。 十个从库先后到达、窗口已过,各自触发一次完整传输,网卡直接打满;从库多就把 delay 调到 30~60 秒。
  2. swapdb 模式低估内存。 加载期间新旧两份数据并存,从库内存贴着数据量设置时会被 OOM kill,回滚机制反而成了事故源。
  3. 无盘与备份是两回事。 无盘只是同步路径,不影响持久化配置;反过来,关闭持久化的实例若用有盘同步,记得 rdb-del-sync-files yes 清理同步残留的 dump.rdb。
  4. max-replicas 与 delay 一起看。 只调 delay 不设上限,极端情况下攒批过久,第一个从库的等待时间不可控。

小结

  • 无盘复制分主库侧 repl-diskless-sync 与从库侧 repl-diskless-load 两个独立开关。
  • 主库流式发送省去临时文件,delay 与 max-replicas 攒批让一次传输服务多个从库。
  • 从库 swapdb 模式可回滚但内存近似翻倍,on-empty-db 是保守安全的默认选择。
  • 选型口诀:磁盘慢网络好选无盘,网络紧或从库易闪断选有盘。
  • 用同步耗时、磁盘 IO、内存峰值三项演练数据支撑生产决策。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。