Beam适配GaussDB开源任务验证任务心得

Beam适配GaussDB开源验证任务心得

首先先看下任务计划书 https://bbs.huaweicloud.com/blogs/437766 ，大概了解了下这个任务的主要工作是完成 Apache Beam连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂，主要是需要花时间熟悉Beam的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。

先fork一下DEMO代码

fork 到这个组织下面了：

https://gitcode.com/xizhou_0313/opensource-demo-beam-241112/overview

开发过程

首先参考任务计划书给的参考资料： https://github.com/apache/beam/ 。 把官网提供的原代码看了下， 并把关键的类信息拷贝过来。 官网采用的是读取文件系统， 需要改为GaussDB。 我采用了opengauss提供的 JDBC 驱动。

1.pom文件增加依赖(resource-service模块增加依赖)

    <dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-sdks-java-core</artifactId>
      <version>2.59.0</version>
    </dependency>

    <dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-runners-direct-java</artifactId>
      <version>2.59.0</version>
    </dependency>

    <dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-sdks-java-io-jdbc</artifactId>
      <version>2.59.0</version>
    </dependency>

    <dependency>
      <groupId>org.opengauss</groupId>
      <artifactId>opengauss-jdbc</artifactId>
      <version>6.0.0</version>
    </dependency>

2.代码提交部署

 提价代码到对应的仓库后，按照https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/blob/main/zh_CN/docs/cicd-pipeline.md 在华为云部署示例项目。

如果有修改重新提交代码后，重新构建，然后在cce平台一次重新部署以下两个组件：

说明：代码开发详细见

https://gitcode.com/xizhou_0313/opensource-demo-beam-241112/overview的

resource-server/src/main/java/org/apache/servicecomb/fence/resource/BeamAuthEndpoint.java和apis/resource-server-api/src/main/java/org/apache/servicecomb/fence/api/resource/BeamAuthService.java两个类

开发总结

由于本任务是一个JAVA验证项目，部署和运行都是没什么问题的，因此相关的部署验证问题都不再描述了。 通过该任务，可以证明使用 openGauss 的 JDBC 驱动，  是可以接入 GaussDB的。作为一个商业的数据库（类别 Oracle 和 SqlServer等），可以发现 GaussDB还有很多不完善的地方。 大概有如下2个关键点：

 1.GaussDB没有提供maven中央仓可获取的 JDBC 驱动。 因此对开源项目，只能使用 openGauss的驱动。总体看，虽然能够运行起来，还是给开发者不太可靠的感觉。 期望GaussDB能够更多支持开源社区的共建，提供稳定的，maven central可访问的JDBC驱动。

 2.opengauss不同版本的驱动类路径不同，比较混乱。

验收材料

交付件清单

(1)DEMO仓库地址:

       https://gitcode.com/xizhou_0313/opensource-demo-beam-241112/overview

(2)DEMO开发记录:

       https://gitcode.com/xizhou_0313/opensource-demo-beam-241112/commits/detail

(3) 博客的地址: 

     https://bbs.huaweicloud.com/blogs/439448

资源清单

测试结果

  readWrite接口