无盘复制:repl-diskless-sync 原理与适用场景
全量同步默认先把 RDB 写进主库磁盘再发送,磁盘慢或写不进时,同步就成了瓶颈。无盘复制让 RDB 不落盘、直接在网络上流动。本文讲清主库与从库两侧的开关、攒批机制与适用边界。
一、有盘同步的痛点
有盘全量同步中,主库 BGSAVE 先把 RDB 写成临时文件,再从磁盘读出发送。这条路径的代价:
- 磁盘先写后读两轮 IO,叠加在线业务的读写压力;
- 云盘有 IOPS 与吞吐限流,大 RDB 的生成与传输被限速拉长,同步窗口内 COW 与复制缓冲区持续占用;
- 部分容器环境根文件系统只读或容量极小,临时文件根本写不下。
二、主库侧:repl-diskless-sync
repl-diskless-sync yes
repl-diskless-sync-delay 5
repl-diskless-sync-max-replicas 3
开启后,主库 fork 的子进程把 RDB 直接通过 socket 流式发给从库,不产生临时文件。两个配套参数解决"一次传输服务多个从库":delay 是收到第一个全量请求后的等待窗口,窗口内到达的从库共享同一次传输;max-replicas 是攒批上限,到数即提前开始(Redis 7.0 引入)。默认 delay 5 秒,从库较多的实例可以适当调大,权衡是第一个从库要多等几秒。
实现上,无盘传输并不改变 RDB 的生成方式,只是把写目标从文件换成了网络连接。子进程仍然按 RDB 序列化顺序遍历内存,只是每次 write 调用把数据块推给 socket。因此有三种情况必须回退到有盘模式,否则会直接失败:从库要求的 RDB 需要先落盘后再做压缩或校验的定制场景;主库在传输过程中连接断开且没有其他等待中的从库,这次生成的数据无处可写;以及 socket 写阻塞导致子进程长时间挂起。第三种最隐蔽——网络拥塞时子进程会被 write 阻塞,虽然不阻塞主线程,但 COW 窗口被拉长,内存压力持续累积。
日志与状态都能确认生效:
* Starting BGSAVE for SYNC with target: replicas-list, diskless
对应的有盘日志是 target: disk,两者可以据此判断实际路径。恢复完成后还可能看到 Diskless rdb transfer started by pid ...,说明确实走了流式通道。
三、从库侧:repl-diskless-load
repl-diskless-load swapdb
6.0 起从库也能流式加载:RDB 从 socket 直接解析进内存,不再先落临时文件。三个取值:
| 取值 | 行为 | 代价与风险 |
| --- | --- | --- |
| disabled | 先落盘临时文件再加载 | 占用从库磁盘 |
| on-empty-db | 仅当本地为空库时流式加载,非空则回退落盘 | 行为保守,无数据损坏风险 |
| swapdb | 流式加载到临时 db,完成后与旧 db 原子交换 | 加载期间内存近似翻倍 |
swapdb 提供了失败回滚能力:加载失败旧数据原样保留,部分高可用与迁移工具偏好这个模式;代价是加载期间新旧两份数据并存,内存余量不足时选 on-empty-db。
三个取值的选择可以按"内存余量"这一条主线来判断。假设从库现有 16 GB 数据、机器 32 GB,实际可用约 24 GB:swapdb 在加载期间需要额外 16 GB,总需求 32 GB 会直接 OOM,必须改选 on-empty-db;反过来若内存充裕、并且从库承担读流量不能出现"空窗期",swapdb 的原子交换就是必须的。on-empty-db 的行为要读清:只有本地库为空时才流式加载,非空时静默回退为落盘加加载,这种回退不会报错,容易被误判为"配置没生效",验证时要看日志里的 Diskless rdb load 字样是否存在。
四、取舍与选型
| 场景 | 建议 |
| --- | --- |
| 云盘限流、磁盘慢,网络充足 | 无盘 |
| 根文件系统只读或容量小 | 无盘 |
| 网络带宽紧张 | 有盘,磁盘作中转通常快于网络重传 |
| 从库频繁闪断重连 | 有盘,临时 RDB 在窗口内可复用,无盘需重新生成 |
| 从库内存紧张 | 从库侧保持 disabled,仅主库无盘 |
两个开关相互独立,可以只开主库无盘、从库落盘,这是主库磁盘慢而从库内存紧张的常见组合。
五、演练与观察
# 主库确认无盘配置生效
redis-cli CONFIG GET repl-diskless-sync
redis-cli INFO persistence | grep rdb_bgsave_in_progress
# 挂从库后观察主库日志中的 diskless 字样
tail -f /var/log/redis/redis-server.log | grep -i diskless
演练记录三项数据:同规模数据下有盘与无盘的全量同步总耗时、主库磁盘 IO 曲线(无盘应明显回落)、从库加载期间的内存峰值(swapdb 模式重点看)。这份数据决定生产选型,也决定从库内存余量的规划。
三项数据里最容易读错的是磁盘 IO。有盘模式下的曲线是典型的"先高后空":BGSAVE 阶段写入吞吐拉满,传输阶段读取吞吐拉满,两段之间有一个明显的间隙。无盘模式则看不出这两段,磁盘曲线几乎归零,但网卡发送速率会顶到带宽上限。如果把网络与磁盘放在同一张图上,无盘的瓶颈位置会从磁盘侧整体平移到网络侧——这也意味着无盘模式的故障表现会从"磁盘满了"变成"网络丢包导致传输超时后重新开始"。
另一个值得记录的观察点是主库的内存。有盘模式在 RDB 写完后临时文件仍占磁盘,主库内存只有 COW 部分;无盘模式的 COW 窗口与传输时长严格重合,网络越慢窗口越长。因此判断是否该用无盘,本质上要先测出"RDB 落盘耗时"与"RDB 网络传输耗时"两个数字:落盘慢于传输时无盘收益明显,落盘远快于传输时无盘只是把压力从磁盘搬到了网卡,反而延长了 COW 窗口。
常见坑 / 最佳实践
- 开了无盘不调 delay。 十个从库先后到达、窗口已过,各自触发一次完整传输,网卡直接打满;从库多就把 delay 调到 30~60 秒。
- swapdb 模式低估内存。 加载期间新旧两份数据并存,从库内存贴着数据量设置时会被 OOM kill,回滚机制反而成了事故源。
- 无盘与备份是两回事。 无盘只是同步路径,不影响持久化配置;反过来,关闭持久化的实例若用有盘同步,记得
rdb-del-sync-files yes清理同步残留的 dump.rdb。 - max-replicas 与 delay 一起看。 只调 delay 不设上限,极端情况下攒批过久,第一个从库的等待时间不可控。
小结
- 无盘复制分主库侧 repl-diskless-sync 与从库侧 repl-diskless-load 两个独立开关。
- 主库流式发送省去临时文件,delay 与 max-replicas 攒批让一次传输服务多个从库。
- 从库 swapdb 模式可回滚但内存近似翻倍,on-empty-db 是保守安全的默认选择。
- 选型口诀:磁盘慢网络好选无盘,网络紧或从库易闪断选有盘。
- 用同步耗时、磁盘 IO、内存峰值三项演练数据支撑生产决策。
- 点赞
- 收藏
- 关注作者
评论(0)