SeaTunnel适配GaussDB开源验证任务心得

举报
yd_283161242 发表于 2024/11/30 16:53:49 2024/11/30
【摘要】 任务主要是完成SeaTunnel采集数据,发送到GaussDB过程的验证。

根据任务书提示,这个任务主要是完成SeaTunnel采集数据,发送到GaussDB过程的验证。总体俩说复杂程度不高,主要是需要花时间熟悉组件架构、环境搭建、配置文件的参数信息。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料:https://seatunnel.apache.org/。下面介绍一下关键步骤。

开发过程

首先,根据官网资料,安装部署之前,安装Java (Java 8 或 11, 其他高于Java 8的版本理论上也可以工作) 以及设置 JAVA_HOME。

截屏2024-11-30 下午4.07.51.png

截屏2024-11-30 下午4.08.37.png
我们以最新稳定版(2.3.8)为例。
采取wget工具下载,到安装目录下
wget “https://archive.apache.org/dist/seatunnel/2.3.8/apache-seatunnel-2.3.8-bin.tar.gz
解压缩到安装目录下

2.下载连接器插件
从2.2.0-beta版本开始,二进制包不再默认提供连接器依赖,因此在第一次使用时,您需要执行以下命令来安装连接器.进入安装目录

sh bin/install-plugin.sh
通常情况下,你不需要所有的连接器插件。你可以通过配置config/plugin_config来指定所需的插件。例如,如果你想让示例应用程序正常工作,你将需要connector-console和connector-fake插件。你可以修改plugin_config配置文件。

3.启动服务
cd “apache-seatunnel-2.3.8}”
./bin/seatunnel.sh --config ./config/v2.batch.config.template -m local
没有信息就是启动成功。

下载好之后就部署完成。接下来需要编写conf脚本。
我们以mysql为数据源,GaussDB为目标数据库。
source
参考https://seatunnel.apache.org/zh-CN/docs/2.3.8/connector-v2/source/Mysql
截屏2024-11-30 下午4.37.32.png
Sink
GaussDB的底层架构兼容PostgreSql,所以Sink连接器我们选择PostgreSql。
参考:https://seatunnel.apache.org/zh-CN/docs/2.3.8/connector-v2/sink/PostgreSql
截屏2024-11-30 下午4.44.09.png
综上所诉,得出代码:
截屏2024-11-30 下午4.46.47.png
安装目录下执行
./bin/seatunnel.sh --config ./job/mysql_test.conf -m local
项目就跑起来了!

数据源:
截屏2024-11-30 下午4.49.50.png
目标数据库:
截屏2024-11-30 下午4.50.27.png

开发总结

安装环境相对简单,但调试代码需要耐心,因GuassDB只是兼容PostgreSql,并不是完全对等,所以代码不完全相同。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。