SeaTunnel适配GaussDB开源验证任务心得
根据任务书提示,这个任务主要是完成SeaTunnel采集数据,发送到GaussDB过程的验证。总体俩说复杂程度不高,主要是需要花时间熟悉组件架构、环境搭建、配置文件的参数信息。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料:https://seatunnel.apache.org/。下面介绍一下关键步骤。
开发过程
首先,根据官网资料,安装部署之前,安装Java (Java 8 或 11, 其他高于Java 8的版本理论上也可以工作) 以及设置 JAVA_HOME。
我们以最新稳定版(2.3.8)为例。
采取wget工具下载,到安装目录下
wget “https://archive.apache.org/dist/seatunnel/2.3.8/apache-seatunnel-2.3.8-bin.tar.gz”
解压缩到安装目录下
2.下载连接器插件
从2.2.0-beta版本开始,二进制包不再默认提供连接器依赖,因此在第一次使用时,您需要执行以下命令来安装连接器.进入安装目录
sh bin/install-plugin.sh
通常情况下,你不需要所有的连接器插件。你可以通过配置config/plugin_config来指定所需的插件。例如,如果你想让示例应用程序正常工作,你将需要connector-console和connector-fake插件。你可以修改plugin_config配置文件。
3.启动服务
cd “apache-seatunnel-2.3.8}”
./bin/seatunnel.sh --config ./config/v2.batch.config.template -m local
没有信息就是启动成功。
下载好之后就部署完成。接下来需要编写conf脚本。
我们以mysql为数据源,GaussDB为目标数据库。
source
参考https://seatunnel.apache.org/zh-CN/docs/2.3.8/connector-v2/source/Mysql
Sink
GaussDB的底层架构兼容PostgreSql,所以Sink连接器我们选择PostgreSql。
参考:https://seatunnel.apache.org/zh-CN/docs/2.3.8/connector-v2/sink/PostgreSql
综上所诉,得出代码:
安装目录下执行
./bin/seatunnel.sh --config ./job/mysql_test.conf -m local
项目就跑起来了!
数据源:
目标数据库:
开发总结
安装环境相对简单,但调试代码需要耐心,因GuassDB只是兼容PostgreSql,并不是完全对等,所以代码不完全相同。
- 点赞
- 收藏
- 关注作者
评论(0)