5分钟快速上手DataMover数据同步平台，MySQL到达梦迁移同步

收到上级要将业务系统数据共享的任务。要求将23表的数据共享给XXX平台在政务云的达梦数据库。

调研了一些开源方案DataX、Kettle、flink cdc等，需要有编程基础。

调研了一些商业化软件费用高。找到了一款数据迁移同步工具，免费版可以满足需求。

免费版支持17中常用数据源和30张表同步任务的并发调度。

一、环境准备：快速部署DataMover

1.1 下载安装

访问DataMover官网下载最新免费版，支持Windows、Linux、macOS系统：

1.2 部署DataMover平台

安装文档
https://datamover.cn/doc/guide/全新安装-Linux.html
https://datamover.cn/doc/guide/全新安装-Windows.html

提前准备好JDK和Mysql环境。

1.2.1 解压安装包

1.2.2 配置并启动平台

配置manager/conf目录中的application-druid.properties

配置数据库连接信息，只需要保证ip、端口、用户名、密码正确即可，若指定的数据库不存在DataMover会自动创建。

配置完成后双击执行manager/bin目录中的启动脚本start.bat

配置worker/conf目录中的application-druid.properties

注意manager启动后看到启动成功的日志或者等一两分钟再启动worker，保证mananger完成了数据库的初始化。

配置完成后双击执行manager/bin目录中的启动脚本start.bat

1.3 验证平台正确安装

启动成功后，终端将显示访问地址

访问地址：http://localhost:8000
默认账号：admin
默认密码：admin123

二、实战演练：MySQL到达梦的数据同步

2.1 创建数据源连接

1. 进入数据源管理：点击左侧菜单栏的「数据源」

2. 添加源数据库：

   • 点击「新增」，选择「MySQL」
   • 填写连接信息：
     • 名称：source_mysql（自定义）
     • 主机：你的MySQL服务器IP
     • 端口：3306
     • 数据库：test_source
     • 用户名/密码：数据库的用户名密码
   • 点击「测试连接」，确认成功后保存

3. 添加目标数据库：重复上述步骤，选择达梦数据库，创建目标数据源（如命名为 `target_达梦）
   
   
   

2.2 配置第一个同步任务

1. 创建同步任务：点击左侧「任务管理」→「新建任务」

2. 基础设置：

   • 任务名称：首次同步测试
   • 选择数据源：源端选择mysql，目的端选择达梦
   • 任务类型：选择「普通任务」

3. 映射配置：

   • 源端数据：点击「加好」，勾选需要同步的表（如 user_info）
   • 目标数据源：选择 target_mysql
   • 目标表：可自动创建或选择已有表

4. 字段映射配置：

   • 系统会自动匹配同名字段
   • 如需调整，可手动拖拽字段进行映射
   • 可点击字段右侧的「转换」图标，设置脱敏、计算等规则
     
     
     

3.3 高级功能配置（可选）

1. 增量同步设置：

   • 如需增量同步，可在同步策略配置中选择「增量」
   • 设置增量字段（如 update_time 或自增ID）
   • 配置同步频率（如每分钟同步一次或cron表达式）

2. 数据过滤与转换：

   • 在「转换函数」中，可设置同步规则
   • 例如：filter(status == 'active') 只同步活跃用户
   • 使用函数进行脱敏，如手机号中间四位替换为****

3.4 保存并执行任务

1. 保存配置：点击「完成」按钮，任务将出现在任务列表中
2. 启动任务：在任务列表中找到刚创建的任务，点击「全部启动」或「启动」
3. 监控运行：在任务详情页，可实时查看：
   • 同步进度与速度
   • 已同步数据量
   • 下载同步日志