背景介绍

1 需求分析

1.1   项目影响力

       在数据量不断增长、数据管理和分析的复杂性日益增加的大环境下，数据工程师、分析师和科学家们在海量数据中寻找所需数据的难度越来越大，对高效的数据发现和元数据管理工具的需求愈发迫切。

       为了解决这一问题，Lyft 公司的工程师们开始了Amundsen的研发，2019 年 4 月，Lyft 宣布开发了 Amundsen，它是建立在元数据服务之上的数据发现系统。这篇关于 Amundsen 的文章着重于用户体验而非技术设计，强调了该工具在应对数据复杂度增长对生产力和合规性的影响方面的重要性。2019 年 10 月，Lyft 将 Amundsen 开源，开源后的 Amundsen 迅速吸引了众多开发者和企业的关注，其社区不断发展壮大。

项目数据：Fork 956，Star 4.4k，Contributors 221

主要开发语言:

• Python         67.4%
• TypeScrpt    30.1%  

官网: https://www.amundsen.io

源代码仓库：https://github.com/amundsen-io/amundsen

star历史（https://star-history.com/）：

1.2   任务目的和范围

       Amundsen 已被多家公司成功采用，包括 Lyft、ING、Instacart 等。这些公司利用 Amundsen 来改善其数据发现和元数据管理流程，从而提高数据分析的效率，这也证明了该软件在数据管理领域具有一定的实用性和价值，受到了部分企业用户的认可。

       本任务的主要目的是完成Amundsen与GuassDB数据库的适配，使Amundsen融入华为云生态体系，使得原有习惯使用该软件的的用户可以继续保有原来的工作习惯，避免切换新软件所产生额外成本，提高用户选择华为云服务的可能性。同时，该任务可以为当前使用或未来使用华为云服务的用户提供Amundsen选项，丰富个性化定制多样性。

• 适配任务清单

2 工作量评估和任务分解

2.1   工作量评估

2.2   基于华为云ECS完成Amundsen安装和部署

华为云部署参考:

Amundsen系统架构图：

参考：

• 代码仓库：https://github.com/amundsen-io/amundsen

2.3      完成GuassDB数据库适配功能开发

• 申请开通华为云GuassDB服务，并获取相应的配置信息。
• 安装Amundsen，若已经安装Amundsen，则直接生成Amundsen镜像
• 在GitCode完成项目Fork，并完成GuassDB数据库服务适配需要的脚本和代码开发。
• 使用Amundsen镜像对接GuassDB数据库服务，开启联调验证并修改适配脚本及代码

2.4   DEMO设计和验证

功能测试

• 在GuassDB数据库准备一些测试数据，并创建完成GuassDB和Amundsen的链接环境，在Amundsen端能够获取GuassDB的数据。
• 打开浏览器，访问 Amundsen 的 Web 界面地址（通常是 http://localhost:5000）。
• 尝试进行数据搜索，输入一些关键词，查看是否能够准确地返回相关的数据资源。
• 检查元数据的展示，包括数据的描述、标签、所有者等信息是否正确显示。
• 测试数据血缘功能，查看是否能够清晰地展示数据的来源和去向。

兼容性测试

• 在不同的浏览器上测试 Amundsen 的界面是否正常显示和功能是否正常。

结论： 若以上测试通过，则Amundsen和GaussDB达成基本适配

2.5   在华为云开发者论坛输出博客

在华为云开发者论坛发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）

2.6   代码推送上游社区

将代码合并到Amundsen官网主干代码，更新Amundsen官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料

开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview