迁移一致性校验清单:字段、口径、样本、误报

举报
数据库急诊室_阿哲 发表于 2026/11/19 13:41:32 2026/11/19
【摘要】 迁移一致性校验,按这 6 步做。重点不是脚本多复杂,而是输出能不能被处置。示例环境:文中表名、差异条数均为脱敏教学示例。 1. 定口径三层选一层或全做:行数 → 主键 → 内容。顺序不能反,直接逐字段比对会跑得慢、误报多。 2. 框范围哪些表:核心全量,外围抽样;哪些字段:金额、状态、时间、关联键必比;哪个时间窗:全量或增量;哪个方向:旧→新、新→旧、双向。 3. 固定快照校验期间暂停写入,...

迁移一致性校验,按这 6 步做。重点不是脚本多复杂,而是输出能不能被处置。

示例环境:文中表名、差异条数均为脱敏教学示例。

1. 定口径

三层选一层或全做:行数 → 主键 → 内容。顺序不能反,直接逐字段比对会跑得慢、误报多。

2. 框范围

  • 哪些表:核心全量,外围抽样;
  • 哪些字段:金额、状态、时间、关联键必比;
  • 哪个时间窗:全量或增量;
  • 哪个方向:旧→新、新→旧、双向。

3. 固定快照

校验期间暂停写入,或记录时间点后按时间窗比对。边写边比,差异一定多。

4. 过滤五类误报

类型 处理
精度 统一精度,金额按最小单位
时区 统一时区,半开区间
字符 TRIM、统一大小写
空值 先统计 NULL/空串分布
抽样 固定排序、固定快照

5. 输出差异类型

至少包含:表名、业务键、差异类型、源值、目标值、定性、处置人。

-- 示例写法,语法因库而异
SELECT COALESCE(s.id, t.id) AS id,
       CASE WHEN s.id IS NULL THEN 'missing_in_target'
            WHEN t.id IS NULL THEN 'extra_in_target'
            WHEN ABS(s.amount - t.amount) > 0.01 THEN 'amount_diff'
            ELSE 'other' END AS diff_type
FROM old_schema.billing_detail s
FULL OUTER JOIN new_schema.billing_detail t ON s.id = t.id
WHERE s.id IS NULL OR t.id IS NULL OR ABS(s.amount - t.amount) > 0.01;

6. 定性再处置

  • 误报:修脚本;
  • 可解释:记录;
  • 真差异:按业务键定位,补数或评估回滚。

什么时候停

  • 金额/余额/状态不一致且无法定位;
  • 真差异率超阈值且连续两轮不降;
  • 迁移窗口最后一批写入系统性缺失。

一页纸

口径 → 范围 → 快照 → 误报 → 分类 → 定性。

六步走完,再谈回滚。

示例环境:表名、字段、差异条数均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:差异怎么闭环

差异定完性,还要有闭环。我的做法是四步:

  1. 每条真差异指定一个 owner,按业务键认领;
  2. 约定关闭时间,超时要说明原因;
  3. 修复后重跑同一脚本,确认差异消失;
  4. 把这次差异类型补进校验基线,下次自动过滤。

没有闭环,差异报告会变成「每轮都差不多」的固定节目。

补充:三个不要

  • 不要为了「让数字好看」直接改数据;
  • 不要在没有分类的情况下反复重跑脚本;
  • 不要在脚本里加「例外名单」却不写原因。

例外名单是技术债,写清楚原因,下次才有机会删掉。

补充:报告里还要写什么

除了差异条数,至少写清四件事:本轮校验的范围、使用的快照时间、已解释差异的处置、未解释差异的 owner。只写「312 条」,下一轮没人知道该从哪里接。

补充:一个和业务对齐的口径

「差异率」的分母要先说清楚:是按总行数、按金额,还是按业务笔数。不同分母算出来的差异率差很多,和业务对齐之后再报数。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:三类差异的处置

差异 处置 是否停线
误报 修脚本、重跑 否
可解释 记录、业务确认 否
真差异 定位业务键、补数或回滚 视金额/状态而定

示例环境:表名、字段、差异条数均为脱敏教学示例。

补充:抽样比例怎么定

核心表全量,外围表按业务键分层抽样;金额、状态、关联键三类字段不做抽样。抽样比例写进报告,不要只说「抽了一部分」。

补充:什么时候该换工具

当差异主要来自类型、时区、字符这些「比对前的转换」,而不是数据本身时,先修比对逻辑,不要急着换工具。换工具不解决口径问题。

补充:一个判断

如果同一现象在旧库也能复现,先别算到新库头上;如果只在新库出现,再按「负载、语句、计划、配置、资源」的顺序查。

示例环境:文中数字与场景均为脱敏教学示例。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。