dolphinscheduler docker容器

举报
Nick Qiu 发表于 2021/03/26 23:22:36 2021/03/26
【摘要】 简介 dolphinscheduler是一个开源的调度平台,经常用于数仓的ETL场景中,查看官方的源码发现dolphinscheduler已经开始准备docker容器了,但是到docker.hub网站上去看,确找不到官方一个打包好的镜像,笔者根据自己需要打包了一个dolphinscheduler容器镜像,本文讲解如何使用。 本机部署ds 准备数据库 准备好mysql,新建一个...

简介

dolphinscheduler是一个开源的调度平台,经常用于数仓的ETL场景中,查看官方的源码发现dolphinscheduler已经开始准备docker容器了,但是到docker.hub网站上去看,确找不到官方一个打包好的镜像,笔者根据自己需要打包了一个dolphinscheduler容器镜像,本文讲解如何使用。

本机部署ds

准备数据库

  • 准备好mysql,新建一个mysql库 使用utf8编码

  • 使用脚本初始化库

启动zk和ds容器

# 获取本机的ip地址,其中en0 是本机的网卡
ip=$(ifconfig en0  | grep 'inet ' |awk '{print $2}')

# 运行zookeeper 
docker run --name some-zookeeper -p 2181:2181 --restart always -d qiujiahong/zookeeper:3.6.2

# 运行dolphinscheduler 
docker run --name dolphinscheduler \
-e DATABASE_TYPE="mysql"  -e DATABASE_DRIVER="com.mysql.jdbc.Driver" \
-e DATABASE_HOST="${ip}" -e DATABASE_PORT="3306" -e DATABASE_DATABASE="ds" \
-e DATABASE_USERNAME="root" -e DATABASE_PASSWORD="123456" \
-e ZOOKEEPER_QUORUM="${ip}:2181" \
-p 8888:8888  -d \
-m 5g --cpus=3  \
qiujiahong/dolphinscheduler:1.3.5-SNAPSHOT all

容器打包

笔者forked了ds的代码,做了一些改动,其中相关的脚本和代码可以在笔者的仓库内找到(使用分支1.3.4-release)
https://github.com/qiujiahong/incubator-dolphinscheduler/tree/1.3.4-release

重新打包的步骤如下:

  • 打包基础镜像 ,qiujiahong/base-dolphinscheduler:latest,该镜像安装了一些基础软件为后续多次打包镜像节省时间
# http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 
# 需提前下载datax.tar.gz文件
sh docker/build-base/hooks/build
  • 打包镜像,qiujiahong/dolphinscheduler:1.3.5-SNAPSHOT
sh docker/build/hooks/build

文章来源: www.jianshu.com,作者:Nick_4438,版权归原作者所有,如需转载,请联系作者。

原文链接:www.jianshu.com/p/b4c7206a95cb

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。