dbt-core软件适配GaussDB开源开发任务

1 背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

2 需求分析

2.1 项目影响力

dbt-core 是一个用于数据建模和转化的开源工具（https://github.com/dbt-labs/dbt-core

），它帮助分析师和数据工程师将数据转换为可用的信息。

项目数据：Fork 1.6K, Star 9.7K, Contributor 312

star历史（https://star-history.com/）：

2.2 任务目的和范围

本任务的主要目的是让 dbt-core 社区支持 GaussDB(DWS)。这一举措旨在拓展GaussDB(DWS) 的影响力，同时为 dbt-core 用户提供更灵活的数据库选择，使其能够轻松使用 GaussDB(DWS)。

适配任务清单

3 工作量评估和任务分解

3.1 工作量评估

3.2 完成GaussDB数据库适配功能开发

• 在GitCode完成项目Fork（https://github.com/dbt-labs/dbt-postgres 这是dbt-core对PostgresDB数据的一个依赖库，为了适配 GaussDB 可参考这个库来完成适配），并完成与 GaussDB(DWS) 适配需要的脚本和代码开发。
• 分析 GaussDB 支持的 SQL 语法，调整 SQL 以确保兼容性。例如，使用 GaussDB 支持的函数和表达式，确保 dbt-core 中使用的 SQL 函数和表达式能够在 GaussDB 中正常工作，必要时进行替换。

3.3 完成GaussDB演示DEMO设计

DEMO在resource-server-python中完成, https://docs.getdbt.com/docs/core/connect-data-platform/postgres-setup 的例子开发任务，https://docs.getdbt.com/reference/resource-configs/postgres-configs 可参考该链接完成简单的demo。大概流程如下：

1. 通过本地 GaussDB 作为数据源，通过 dbt-core 将数据转换成 GaussDB(DWS)适用的数据，通过 GaussDB(DWS) 的API上传数据
2. GaussDB(DWS) 接收到转换后的数据，利用 GaussDB(DWS) 高效的数据加载、转换和查询性能等优势，生成目标数据
3. 最后，通过RESTful API操作数据库供前端使用。

DEMO的简单部署图如下：

3.4 DEMO开发、部署和验证

根据DEMO设计，完成演示功能开发和部署。要求使用CCE容器（Euler镜像）进行部署。

3.5 在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.com/blogs）发表博客，介绍完成这些任务的过程和心得。包括如下内容：dbt-core和GaussDB(DWS)功能介绍；安装部署指导；验证DEMO功能等。

3.6 代码推送上游社区

将代码合并到 dbt-core 官网主干代码；更新 dbt-core 官网资料，包括版本说明、开发指南等。

4 验收材料

5 参考资料

• 开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview