Kestra适配Gauss开源验证任务心得

举报
yd_265508559 发表于 2024/11/12 21:09:52 2024/11/12
【摘要】 Kestra是一个高级编排和调度平台,旨在促进复杂数据管道的构建、执行、调度和监控。这个强大的平台简化了开发过程,并确保数据管道在其整个生命周期中保持高效和可靠。文章大概描述验证Kestra适配GaussDB整个流程及可能会出现的问题,希望能帮读者解决自身问题。

背景介绍

开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。

适配思路

  1. 在ECS环境里通过docker部署好kestra;

     2.启动kestra,登录UI界面,创建一个flow,将数据写入高斯。验证高斯库里的数据

     3.再写一个flow,将数据从高斯查询出来

2具体实现

通过docker run -- privileged  --pull=always --rm -it -p 8080:8080 --user=root

-v /var/run/docker.sock:/var/run/docker.sock

-v /tmp:/tmp kestra/kestra:latest server local启动kestra服务,启动服务后通过弹性公网IP地址加8080端口访问UI界面

注意安全组出入方向规则都放开8080端口

点击flows模块,点击create创建一个my flow

通过编写yaml文件的方式去创建任务流,url,username,password填上我们自己配置的高斯数据库即可

注意用户权限的问题,可能会报数据库用户权限不足的问题

同理创建一个任务来查询数据库

点击Outputs查看执行输出结果

以上就是kestra适配GaussDB开源验证任务的流程

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。