背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

1 需求分析

1.1 项目影响力

Apache Linkis 是微众银行开源的一款数据中间件，用于解决前台各种工具，应用，和后台各种计算存储引擎的连接，访问和复用问题。Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 Apache Linkis 自2019年开源发布以来，已累计积累了700多家试用企业和1000多位沙盒试验用户，涉及金融、电信、制造、互联网等多个行业。许多公司已经将Linkis 作为大数据平台底层计算存储引擎的统一入口，和计算请求/任务治理管控利器。

1.2 核心特点​

· 丰富的底层计算存储引擎支持：Spark、Hive、Python、Shell、Flink、JDBC、Pipeline、Sqoop、OpenLooKeng、Presto、ElasticSearch、Trino、SeaTunnel 等；

· 丰富的语言支持：SparkSQL、HiveSQL、Python、Shell、Pyspark、Scala、JSON 和 Java 等；

· 强大的计算治理能力： 能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力；

· 全栈计算存储引擎架构支持： 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务；

· 统一上下文服务：支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件（JAR、ZIP、Properties 等），结果集、参数变量、函数、UDF等，一处设置，处处自动引用；

· 统一物料： 提供了系统和用户级物料管理，可分享和流转，跨用户、跨系统共享物料；

· 统一数据源管理： 提供了Hive、ElasticSearch、Mysql、Kafka、MongoDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力；

· 错误码能力：提供了任务常见错误的错误码和解决方案，方便用户自助定位问题；

项目数据：Fork 1.2K, Star 3.3K, Contributors 149+，最近一次提交：2024-9-25

主要开发语言:

· Java 47.2% 

· Scala 28.1% 

· Ruby 10.1%

官网: https://linkis.apache.org/zh-CN/

源代码仓库：https://github.com/apache/linkis

star历史（https://star-history.com/）：

1.3 任务目的和范围

本任务的主要目的是让Apache Linkis社区支持华为云 GaussDB数据库服务，拓展GaussDB数据库服务的影响力，方便Apache Linkis的用户使用华为云服务时能够顺利对接GaussDB数据库服务。

• 适配任务清单

2 工作量评估和任务分解

2.1 工作量评估

2.2 基于华为云ECS完成Apache Linkis安装和部署调试

华为云部署参考:

Apache Linkis 系统架构图：

Apache Linkis 生态接入图：

参考：

代码仓库： https://github.com/apache/linkis

2.3 完成GaussDB数据库适配功能开发

参考现有Apache Linkis的架构，完成2个功能点的分析和适配工作。

Apache Linkis可以在客户端提交任务到GaussDB数据库。

GaussDB数据库可以将查询到的结果数据返回到客户端。

参考：

https://github.com/apache/linkis/blob/master/linkis-dist/package/db/linkis_dml_pg.sql

2.4 完成DEMO设计和验证

在Apache Linkis客户端创建一条标准SQL语句并最终提交到GaussDB数据库。

GaussDB数据库返回上述SQL语句查询到的结果数据到客户端。

2.5 在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.com/blogs）发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）
• 昇腾（可选）
• 鸿蒙（可选）

2.6 代码推送上游社区

将代码合并到Apache Linkis官网主干代码，更新Apache Linkis官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料

• 开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview