国产化数据迁移场景下，数据同步工具的容器化部署实践

在国产化数据库迁移项目中，数据同步工具的部署效率直接影响项目进度。本文记录一个数据同步平台从原生部署到 Docker 容器化的迁移实践，包括场景分析、部署步骤和踩坑经验。

场景背景

当前国产化替代和信创适配是很多企业正在推进的方向。其中一个核心工作就是把原有的 Oracle、SQL Server 等数据库迁移到达梦（DM）、GaussDB、OceanBase 等国产数据库上。

这个过程中，数据同步工具扮演了关键角色——它负责把源库的数据实时或定期同步到目标国产数据库中。但实际项目中，同步工具本身的部署往往成为一个被低估的耗时环节。

常见的做法有几种：写脚本硬拉——数据量大时容易 OOM，也没有断点续传；用开源 ETL 工具——配置复杂，学习成本高；上流计算引擎——功能强但部署环境重，小规模项目不值当。

无论哪种方案，环境配置都是绕不开的前置工作。每台机器都要装 JDK、配环境变量、处理端口冲突。在国产化项目中，多个环境（开发、测试、生产、灾备）都需要部署同步工具，重复劳动的时间成本不可忽视。

工具选择

在国产化数据迁移项目中，我们选择了一款支持 35+ 种数据源的数据迁移同步工具。它覆盖了国产化场景中常见的数据库组合：

同步能力方面，提供三种模式：

• 全量迁移：一次性把数据全部搬过去，适合首次初始化
• 增量同步：基于时间戳或自增字段周期性拉取，分钟级延迟
• CDC 实时同步：基于 binlog/WAL 捕获 INSERT/UPDATE/DELETE，秒级延迟

性能方面，在全量同步场景下做过实测：MySQL 到 MySQL，25 个字段、500 万行、2GB 数据，约 2 分钟完成同步，吞吐量约 4.17 万行/秒。

有个值得注意的设计：如果目标表不存在，工具会自动建表，DDL 转换也是内置的。同时默认不会向已存在的目标表写入数据，而是输出到加后缀的临时表——这个安全机制在数据迁移项目中很有用，可以有效防止误覆盖。

从原生部署到容器化

之前一直使用原生部署方式：安装 JDK 8+、解压安装包、手动编辑配置、分别启动 Manager 和 Worker 两个进程。流程标准化了，但在多个环境（开发、测试、生产）重复部署时，耗费的时间是线性叠加的。

切换到 Docker 部署后，部署环境只需要 Docker Engine 20.10+ 和 Docker Compose 2.x，不再需要单独安装 JDK 或配置环境变量。镜像从国内镜像仓库拉取，无需额外配置加速器。

部署命令：

curl -fsSL https://down.datamover.cn/install.sh | bash

命令自动完成环境检测、安装包下载、镜像拉取和服务启动。首次启动 3-5 分钟，主要耗时在镜像拉取和 MySQL 元数据库初始化上。

对于内网部署场景（政务、金融等敏感环境），可以先在有公网的机器上拉取镜像并导出为 tar 文件，再传输到内网机器上导入使用。具体操作：

# 有公网的机器拉取
./deploy.sh --pull
docker save -o datamover-images.tar datamover-manager datamover-worker
# 传输到内网后导入
docker load -i datamover-images.tar

部署脚本会自动检测 3306/8000/8011 端口是否被占用，被占用时自动调整端口映射，启动完成后打印实际访问地址。

配置与使用

启动后通过浏览器访问管理界面，默认端口 8000。

默认管理员账号 admin/admin123。

创建同步任务的流程：

1. 配置源数据库连接——填写主机、端口、数据库名和认证信息
2. 配置目标数据库连接
3. 新建任务，选择源和目标数据源
4. 选择要同步的表和同步模式（全量/增量/CDC）
5. 保存并启动

任务执行后可以在监控页面实时查看已读取行数、已写入行数和执行耗时。

经验总结

1. 端口冲突处理：部署脚本会自动检测并处理端口被占用的情况，在多服务共存的服务器上部署时可以节省手动排查的时间。

2. 多网卡配置：在多网卡环境中，Worker 节点需要正确配置 DM_LOCAL_IP 才能注册到 Manager。如果自动获取的地址不对，可以在 .env 中手动指定本机 IP 地址。

3. 目标表保护机制：工具默认不向已有目标表写入数据，而是输出到临时表。这个机制在国产化数据迁移项目中尤其有用——迁移过程中的数据验证阶段需要确保数据正确后再正式切换。

4. 内网部署方案：对于没有公网访问权限的环境，通过 docker save/load 的方式搬运镜像是一个成熟的解决方案，可以提前在有公网的环境准备好镜像包。

总结

从原生部署到容器化，最大的改善是部署效率的提升。在国产化迁移项目中，往往需要在多个环境重复部署同步工具，容器化方案可以显著减少环境配置的重复劳动。环境一致性也降低了"在开发环境能跑、到生产环境就报错"这类问题的排查成本。