PostgreSQL 大表在线分区改造:零停机迁移的四个阶段

举报
yd_219600272 发表于 2026/11/22 09:10:38 2026/11/22
【摘要】 线上 42 亿行订单明细表的零停机分区改造实践:影子表双写、分批回填限速、三重一致性校验、灰度切读与可回滚收尾,附唯一索引与分区键的两个硬约束。

一、为什么要在生产上做在线分区改造

我们有一张订单明细表,峰值 4200 万行/天,三年积累到 42 亿行、约 1.6TB。问题不是查询慢——按主键查一直是毫秒级——而是维护动作全面失效:autovacuum 一轮要跑 9 小时,索引 B-Tree 膨胀到 300GB,做一次全量备份要 5 小时,删除半年前的数据用 DELETE 跑了两天还没结束,还把 WAL 打满一次。

分区的价值不在“拆表”这个动作本身,而在于把「数据生命周期管理」从 DML 变成 DDL:保留策略从 DELETE 变成 DROP PARTITION,秒级完成且不产生 WAL 膨胀;VACUUM 与索引重建按分区并行,单次成本降到原来的几十分之一。

但线上大表不能停机重建。下面这套四阶段方案的目标是:全程业务可读写,任何一步失败都能在 10 分钟内回退,且不需要业务方改一行代码。

二、阶段一:影子分区表 + 双写

先按业务自然粒度建按月分区的影子表,字段、约束、默认值与旧表完全一致。分区键只能用订单创建时间,因为它是唯一同时满足「写入时必填」和「查询时高频过滤」的列。

接着解决增量数据。两条路:数据库侧用触发器双写,或者应用侧在同一个事务里写两张表。我们选了应用侧双写,原因是触发器会放大每次写入的锁持有时间,在 8000 TPS 下实测 P99 从 12ms 涨到 34ms,不可接受。应用侧双写只是多一条 INSERT,且可以和旧表写入放在同一事务里,天然一致。

这一步要提前把分区边界建足:至少预建未来 6 个月的分区,并加一个 DEFAULT 分区兜底,否则写入会因为「no partition for row」直接报错。

三、阶段二:历史数据分批回填

历史数据按分区并行回填,每个分区一个进程,单批 200 万行,用 INSERT INTO ... SELECT 而不是 COPY,这样可以在同一条 SQL 里做时间范围裁剪,避免全表扫描。

关键控制点是 WAL 与 IO:把每批之间强制 sleep 200ms,并临时调大 maintenance_work_mem、关闭目标表的 autovacuum 直到回填结束。我们第一版没做限速,回填把备库延迟从 0.3 秒推到 47 秒,被迫全部回滚重来。

回填期间旧表上的 DELETE 继续暂停——这正是要解决的痛点,所以顺序上必须接受「旧数据暂时不清理」,等切换完成后再统一 DROP 分区,一步到位。

四、阶段三:一致性校验与读流量切换

校验不能只比行数,行数相同但内容错位的情况真实存在。我们按分区做三重校验:COUNT(*)、按业务主键求 SUM(hashint8(hashtext(row::text)))、以及随机抽 1000 行逐字段比对。三者全过才允许切读。

读切换走灰度:先切 1% 的只读查询到影子表,比对两边返回结果的哈希,一致率 100% 再逐步放量到 10%、50%、100%。这一步我们花了三天,但它是唯一能发现「分区裁剪没生效」这类问题的手段——如果执行计划里出现 Append 扫全部 36 个分区,说明查询条件没带上分区键,必须回去改 SQL 或加索引。

五、阶段四:收尾与回滚设计

全部读流量切完后,停掉双写,把旧表 RENAME 成 xxx_legacy 并保留 7 天,同时在原表名上建一个 UNION ALL 视图做兜底。这 7 天里如果出现任何异常,改回双写并切换视图即可,不需要重新回填。

第 8 天确认无问题后删除视图与旧表,整个改造结束。最终效果:单表 42 亿行拆成 36 个分区,最大分区 1.3 亿行;备份窗口从 5 小时降到 40 分钟;清理历史数据从「跑两天」变成 DROP PARTITION 的 0.3 秒。

两个必须记住的约束:一,唯一索引必须包含分区键,否则建不出来;二,分区键一旦选定几乎不可能在线更改,选之前一定要把未来两年的查询模式想清楚。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。