背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

1 需求分析

1.1 项目影响力

CloudQuery是由 Apache Arrow 提供支持的开源高性能ETL框架，它专门为开发人员构建、支持多种插件。CloudQuery将配置从云API提取、转换和加载到各种受支持的目的地，如数据库、数据湖或流平台，以进行进一步分析。它简化了添加资源的繁琐步骤，比如有些资源可能有数百个字段和关系，并且将它们全部添加可能需要很长时间，为了解决这个问题，CloudQuery提供了实用程序作为plugin-sdk 的一部分，以自动从Go结构体中推断列。在写入数据时的覆盖和追加模式下，可以通过检查特有列来区分来自不同同步的行。

项目数据：Fork 507，Star 5.8k，Contributors 158+，最近一次提交：2024-9-03

主要开发语言:

• Go 65.5% 

• TypeScript 15.4% 

• MDX 10.5%

官网: https:// cloudera.io

源代码仓库：https://github.com/cloudquery/cloudquery 

star历史（https://star-history.com/）：

1.2 任务目的和范围

本任务的主要目的是让Cloudquery支持华为云 GuassDB数据库，拓展GuassDB数据库的影响力，让Cloudquery的用户使用华为云服务时能够顺利对接GuassDB数据库。

• 适配任务清单

2 工作量评估和任务分解

2.1 工作量评估

2.2 基于华为云ECS完成Cloudquery安装和部署

华为云部署参考:

Cloudquery系统架构图：

参考：

代码仓库：https://github.com/cloudquery/cloudquery

2.3 完成GuassDB数据库适配功能开发

参考现有Cloudquery的架构，完成1个功能点的分析和适配工作。

• Cloudquery 可以连接GaussDB数据库进行数据的读写。

2.4 完成DEMO设计和验证

• 创建一个Cloudquery 任务请求,可以读取GaussDB数据库内的数据。
• 创建一个Cloudquery 任务请求,可以往GaussDB数据库内写入数据。

2.5 在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.com/blogs）发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）
• 昇腾（可选）
• 鸿蒙（可选）
• 对象存储 OBS（可选）

2.6 代码推送上游社区

将代码合并到Cloudquery官网主干代码，更新Cloudquery官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料

• 开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview
• Cloudquery 开源软件 for Huawei 临时代码仓库参考：https://github.com/cloudquery/cloudquery