Redis 跨机房部署与异地多活拓扑设计
业务做到一定规模,「机房级故障怎么办」必然被摆上桌面。Redis 对网络延迟极其敏感——gossip 心跳每秒多次、故障投票依赖毫秒级往返——把集群随意拆到两个机房,往往等不来灾备能力,先等来了脑裂和误切换。本文基于 Redis 7 与常见云上部署形态,分析三种拓扑的约束与取舍。
一、先明确两条硬约束
第一条针对 Cluster:所有节点必须部署在低延迟的同一网络内(同机房或同城同可用区)。理由有二:节点间每秒交换多次携带槽位图的 PING/PONG,跨机房几毫秒到几十毫秒的 RTT 会让心跳周期性超时;更重要的是选举依赖多数派,机房级分区会把集群切成两半,任何一侧都无法凑齐多数主节点投票,故障转移瘫痪。第二条针对哨兵:多数派哨兵必须能互通,且不能与它们所监控的 Redis 同生共死。两条约束的共同结论是:高可用组件同城部署,跨机房只做复制不做仲裁。
这两条约束的量化依据值得算一遍,才能判断"同城"到底能容忍多少延迟。假设 cluster-node-timeout 取默认 15000 毫秒,节点每秒发一次 PING,一次跨机房 RTT 为 30 毫秒,占比不过千分之二,看起来毫无问题。但真正的限制来自选举:一次故障转移需要多数主节点在同一个 currentEpoch 内投票,投票消息本身要走 gossip 传播,传播轮次与节点数相关。心跳的 PING/PONG 往返叠加上投票请求的往返,在跨机房 RTT 下会把一轮选举从毫秒级拉长到数百毫秒;如果 RTT 出现抖动尖刺,部分投票请求超时,候选者拿不到足够票数,就需要重新发起一轮。多轮失败之后,故障恢复时间从秒级退化到分钟级。
更根本的问题是分区。跨机房链路一旦中断,两边的节点各自认为对方挂了,但任何一边都凑不齐多数票。此时集群不是"切换到另一边",而是"两边都动不了",全部槽位保持失主状态。这个后果比单机房宕机严重得多——单机房宕机至少还有备份可用,跨机房分区则是整个集群同时不可用。
二、拓扑一:同城集群加异地灾备
最稳妥的起点。主机房部署完整的 Cluster 或哨兵架构承担全部流量,异地机房放置普通从库做异步复制,仅作灾备。拓扑示意:
主机房 A 异地机房 B(灾备)
┌──────────────────────┐ ┌────────────────┐
│ Cluster 3 主 3 从 │ 异步 │ 只读从库 × 2 │
│ 哨兵/集群自仲裁 │──复制──▶│ 不参与仲裁 │
└──────────────────────┘ └────────────────┘
配置要点:异地从库设置 replica-priority 0,防止本地哨兵在网络抖动时把主切换到异地,全站延迟瞬间翻倍;repl-backlog-size 调大(64 MB 起步),跨机房带宽抖动时避免反复全量同步。切换预案要写明:机房级故障时,在异地从库执行 REPLICAOF NO ONE 手动提升为独立主节点,客户端配置切换到 B 机房,代价是接受 RPO 大于零(丢失最后若干秒写入)。这套预案必须定期演练,纸面预案的 RTO 以小时计。
三、拓扑二:同城双机房加第三方仲裁
同城两个机房(或可用区)RTT 通常在 1 到 3 毫秒,可以承载主从复制甚至 Cluster 全部节点。但仲裁组件要小心:如果把 3 个哨兵平分在两个机房,机房断网时两边的哨兵各自是少数派,谁都动不了;多数派必须能整体落在一边。常见做法是主机房 2 个哨兵加第三方位置(同城第三个可用区、独立的云主机)1 个哨兵做仲裁,quorum 设 2。云上场景更简单的路径是直接使用托管服务(如华为云 DCS),主备跨可用区由平台托管仲裁与切换,免去自建哨兵的拓扑设计负担。
四、拓扑三:异地多活与单元化
异地多活没有银弹:跨地域 RTT 通常在 20 毫秒以上,任何「同步复制到异地」的方案都会拖垮写延迟。可行路径有两条。方案 A 是单元化:按用户 ID 或地域把流量拆成单元,每个单元在本地部署完整的 Redis 集群并服务本地请求,单元之间不共享 key,跨单元数据通过异步同步对账,机房故障时只损失该单元数据,其他单元无感。方案 B 是主写加异步同步:异地部署等容量集群,用 redis-shake 这类工具单向同步数据,平时异地只读,故障时整体切换。双向同步必须同时实现冲突策略(时间戳 LWW 或业务幂等)与回环过滤,否则同步风暴会无限循环。
两种方案的差异不只在技术,更在组织成本。单元化的前提是"业务能被完整切分"——用户的所有读写都能按同一个维度路由到同一单元,任何跨单元的强一致需求都必须消除或改造成最终一致。这通常需要业务侧改造,不只是中间件层面的事。主写加异步同步则保留了全局单点的写入路径,改造成本低,但切换时存在一段"异地数据不全"的窗口,且双向同步一旦引入就永久承担冲突处理的复杂度。
一个常被低估的细节是 key 的分布。单元化要求路由维度与 key 前缀一致,例如按 {user:1001} 的 tag 划分单元,这样同一用户的数据天然在一处;如果业务里存在"全局排行榜""全站计数"这类跨用户聚合,它在单元化架构下没有自然归属,必须单独设计——通常做法是保留一个全局集群,接受它不可单元化,并明确它故障时的业务降级表现。
选择判断可以归结为三个问题:业务能否按单一维度切分?跨单元的数据能否接受最终一致?团队能否长期维护双向同步的冲突逻辑?三个都"能"才考虑单元化,否则主写加异步同步是更现实的起点。
五、跨机房链路的监控要点
跨机房方案的效果,最终取决于那条复制链路是否健康。异地从库的延迟不能只看有没有断,还要看落后多少:
redis-cli -h 10.2.0.11 -p 6379 info replication
# role:slave
# master_host:10.0.1.11
# master_link_status:up
# master_link_down_since_seconds:-1
# master_last_io_seconds_ago:0
# slave_repl_offset:88213870
master_link_status:up 只说明链路在,slave_repl_offset 与主库 master_repl_offset 的差值才说明落后多少。异地链路带宽有限时,这个差值会在写入高峰持续增长,形成一个"永远追不上"的状态;一旦主库宕机,能晋升的只有这份落后的数据。
带宽规划可以按一个简单公式估算:异地复制所需带宽约等于峰值写入速率,加上全量同步时的 RDB 传输峰值。前者决定日常是否追得上,后者决定断链恢复时是否会因带宽不足而反复全量。实践中建议按峰值写入速率的 2 倍以上预留专线带宽,并给 RDB 传输留出独立窗口。
第三项监控是断链时长。master_link_down_since_seconds 为 -1 表示当前连接正常,正数则是已断开的秒数。这个值超过 repl-backlog 能覆盖的时长,就意味着恢复时必须全量同步——异地全量在带宽受限时可能耗时数小时,这期间异地完全不具备接管能力。因此断链时长应当有明确的告警阈值,且阈值要小于 backlog 的覆盖时长。
常见坑 / 最佳实践
- 不要把 Cluster 的主节点分放两个机房。 分区时一半槽失主,
cluster_state变 fail,且没有任何一侧能完成选举,这是跨机房方案里最糟糕的一种。 - 异地从库必须设 replica-priority 0。 否则同城链路抖动时哨兵可能把流量切到异地,恢复回来还要经历一次反向切换。
- 跨机房复制链路单独监控。 用
master_link_down_since_seconds与主从 offset 差值监控异地同步健康度,offset 差值持续增长说明带宽或 backlog 出了问题。 - 灾备切换演练到命令级。 把提升从库、修改客户端指向、验证数据落点写成脚本并定期执行,演练一次的成本远低于故障当夜的排错成本。
- 双向同步先设计冲突策略再上线。 LWW 会静默丢并发写入,业务幂等才是可靠基础,回环过滤要在通道两端都做。
小结
- 高可用仲裁组件(Cluster 节点、哨兵多数派)必须同城低延迟部署,跨机房只放复制链路。
- 拓扑一(同城集群加异地灾备)是多数团队的正确起点,代价是 RPO 大于零,靠演练压低 RTO。
- 双机房方案里哨兵多数派要整体落在一侧,或引入第三方可用区做仲裁;云上可直接用托管服务。
- 异地多活靠单元化或主写加异步同步实现,双向同步必须有冲突策略与回环过滤。
- 跨机房链路的复制健康度要单独监控与告警,backlog 与带宽按峰值写入量规划。
- 点赞
- 收藏
- 关注作者
评论(0)