1 背景介绍

Doris 是一款高性能的分布式 SQL 数据库，主要应用于在线分析和多维数据分析场景。GaussDB (For MySQL) 是华为推出的企业级云数据库产品，兼具高性能和高可用性。为了促进两者的生态融合，本次任务旨在完成 Doris 与 GaussDB (For MySQL) 的适配，包含实时数据同步、功能验证及性能优化等开发工作。这一专项开发为扩展 Doris 数据库在多云环境中的适用性迈出了重要一步。

2 适配思路

1. 任务目标分解：

   • 实现 Doris 数据同步至 GaussDB (For MySQL)。
   • 实现 GaussDB (For MySQL) 数据同步至 Doris。
   • 通过 Flink 实现实时数据捕获和同步。

2. 环境搭建：

   • 使用华为云鲲鹏通用计算增强型 ECS，安装 Doris、Flink 和 GaussDB (For MySQL)。
   • 配置各组件以支持数据流的无缝连接。

3. 适配验证：

   • 数据捕获：通过 Flink 捕获 GaussDB (For MySQL) 源表的实时数据变更并同步到 Doris。
   • 数据同步：通过 Flink 将 Doris 的数据实时写入 GaussDB (For MySQL)。

3 实现过程

1. 集群搭建：

   • Doris 集群：完成 Frontend 和 Backend 的分布式部署，确保 Doris 的高可用性和数据存储能力。
   • Flink 集群：配置 Flink Master 和 Worker 节点，用于处理数据流任务。
     

2. 代码开发：

   • GaussDB -> Doris 数据同步：

     • 编写 Flink 任务，连接 GaussDB 作为源数据表。
     • 监控数据增删改（Insert、Update、Delete）操作，通过 Flink 连接器将变更同步至 Doris。

   • Doris -> GaussDB 数据同步：

     • 在 Doris 中定义源表，在 GaussDB 中定义目标表。
     • 使用 Flink 将 Doris 中的增量数据写入 GaussDB，保持数据的一致性。

3. 任务提交与验证：

   • 数据写入任务通过 Flink UI 监控，实时展示每条数据的操作类型（如 Insert、Update、Delete）。
   • 验证同步成功：观察目标表，确认数据变更正确应用。

4 遇到的问题及解决

1. Flink 连接器兼容性问题：

   • 问题：Flink 与 Doris 和 GaussDB 的连接器初始化时，因版本差异导致任务报错。
   • 解决：升级 Flink 版本，同时修改连接器参数配置以适配数据库驱动程序。

2. 数据延迟问题：

   • 问题：防止在大数据量传输时，目标表写入出现延迟。
   • 解决：优化 Flink 的 checkpoint 和并行度配置，提升任务执行效率。

3. 权限与安全性问题：

   • 问题：连接 GaussDB 时遇到权限不足，导致任务无法正常运行。
   • 解决：通过调整 GaussDB 用户权限，开放所需的读写权限，同时增加审计日志以监控数据安全。

4. 数据一致性问题：

   • 问题：防止同步过程中发生数据丢失或重复写入。
   • 解决：启用 Flink 的 Exactly-once 模式，确保数据流的完整性。

5 总结

通过 Doris 和 GaussDB 的适配，实现了两者在实时数据同步上的深度集成，显著提升了异构数据库间数据互通的效率。这一开发成果不仅拓宽了 Doris 的应用场景，也为后续在华为云生态中的推广奠定了基础。

适配开发虽面临诸多挑战，但通过不断调试与优化，顺利完成了任务目标。希望未来能将这一成果推向更多场景，进一步推动开源生态的发展。