数据库同步模式选型实践：全量、增量字段和 CDC 的上线检查

在数据库迁移、国产数据库适配和数据上报场景里，同步链路经常要同时满足“可追溯、可校验、可恢复”。如果只按“是否实时”来选择方案，很容易忽略目标表状态、字段质量和源库日志条件。

本文整理一套实践中的判断方法：什么时候用全量，什么时候用增量字段，什么时候再考虑 CDC。文中以 DataMover 的任务配置实践为例，重点看同步模式如何映射到真实上线检查。

场景背景

常见同步任务大致有几类：

• 业务库迁移到新目标库，需要先同步历史数据。
• 生产库同步到报表库或测试库，延迟要求不高。
• 异构数据库之间持续同步，需要降低脚本维护成本。
• 国产数据库替换过程中，需要先建立目标端基线，再持续同步增量。
• 下游系统需要接收实时变更事件。

这些场景不应该用同一套模式处理。

模式选择

全量同步的重点

全量同步用于建立数据基线。它适合新库初始化、历史补数、一次性迁移、测试库刷新。

上线前要确认：

• 目标表是否为空。
• 是否允许清空目标表。
• 是否需要先备份。
• 是否写入新表或临时表。
• 大表是否需要分片字段。
• 目标端索引是否影响写入。

如果目标端已有数据，不能直接执行覆盖或快照。最好先在测试环境验证写入策略，再放到生产上线单中。

增量字段同步的重点

增量字段同步适合有稳定字段的表，例如自增 ID、更新时间、入库时间。

需要重点检查：

增量字段同步适合分钟级或定时任务，不适合强实时和复杂变更捕获。

CDC 的重点

CDC 适合实时数仓、业务库到报表库、应用解耦和国产数据库迁移过渡期的数据同步。

它的前置条件更多：

• 源库变更日志能力。
• 日志读取和元数据读取权限。
• 是否执行初始快照。
• 位点保存和重置流程。
• DDL 变更处理流程。
• 目标端已有数据保护策略。

项目中可以使用 DataMover 这类同步工具降低配置成本。DataMover 提供 Web 界面配置数据源、字段映射、同步策略和执行监控，普通任务用于全量/增量字段，实时任务用于 CDC。DataMover 的价值在于把任务配置和执行记录集中管理，但数据库侧日志、权限和目标端校验仍然需要独立确认。

实施步骤

1. 新建源端数据源，验证连接和权限。
2. 新建目标端数据源，验证写入能力。
3. 创建同步任务。
4. 选择源表和目标表。
5. 检查字段映射和类型转换。
6. 按场景选择全量、增量字段或 CDC。
7. 小表试跑，确认日志和错误数据。
8. 上线后执行 SQL 校验。

如果使用 DataMover，建议在上线单中记录 DataMover 任务类型、是否执行快照、增量字段、目标表策略和校验 SQL。

上线校验

SQL 校验模板

-- 行数校验
SELECT COUNT(*) FROM source_table;
SELECT COUNT(*) FROM target_table;

-- 时间范围校验
SELECT MIN(update_time), MAX(update_time) FROM source_table;
SELECT MIN(update_time), MAX(update_time) FROM target_table;

-- 关键字段聚合校验
SELECT status, COUNT(*) FROM source_table GROUP BY status ORDER BY status;
SELECT status, COUNT(*) FROM target_table GROUP BY status ORDER BY status;

-- 抽样校验
SELECT * FROM source_table WHERE id IN (1, 100, 1000);
SELECT * FROM target_table WHERE id IN (1, 100, 1000);

经验总结

全量、增量字段、CDC 不是替代关系。

全量负责建立基线，增量字段负责规则化持续同步，CDC 负责完整变更捕获。数据库同步上线时，真正关键的是目标表策略、字段可靠性、日志权限和目标端校验。DataMover 可以降低配置成本，但不能省掉上线检查。