Dinky实时计算平台安装部署

举报
Smy1121 发表于 2022/12/30 17:35:13 2022/12/30
【摘要】 Dinky是一个开箱即用的一站式实时计算平台以Apache Flink为基础。Dinky不依赖任何外部的Hadoop或者Flink环境,可以单独部署在Flink、Hadoop和K8S集群之外,完全解耦,支持同时连接多个不同的集群实例进行运维。一、Dlink下载安装Dinky 在Git源码下载地址:https://github.com/DataLinkDC/dlinkDinky 官网下载地址:...

Dinky是一个开箱即用的一站式实时计算平台以Apache Flink为基础。
Dinky不依赖任何外部的Hadoop或者Flink环境,可以单独部署在Flink、Hadoop和K8S集群之外,完全解耦,支持同时连接多个不同的集群实例进行运维。

一、Dlink下载安装

Dinky 在Git源码下载地址:https://github.com/DataLinkDC/dlink
Dinky 官网下载地址:http://www.dlink.top/download/dinky-0.6.6/
dlink-release-0.6.6.tar.gz 安装包可以在官网下载打包好的,亦可下载源码编译打包。

上传到服务器目录:cd /usr/local/apps
解压:tar -zxvf dlink-release-0.6.6.tar.gz
重命名:mv dlink-release-0.6.6.tar.gz dlink

二、初始化数据库

2.1 在安装Dlink的服务器上安装mysql服务

解压mysql jar包:tar -xf mysql-5.7.30- 1.el7.x86_64.rpm-bundle.tar
创建目录:  mkdir mysql-5.7.30-rpm
把解压的文件移动到此目录: mv *rpm mysql-5.7.30-rpm/
执行安装命令: sudo yum install *.rpm
开启MySQL服务:service mysqld start
设置数据库编码格式:echo character-set-server=utf8 >> /etc/my.cnf
查看默认密码: sudo grep 'temporary password' /var/log/mysqld.log

Dlink采用mysql作为后端的存储库,mysql支持5.6+。这里假设你已经安装了mysql
首先需要创建Dlink的后端数据库,这里以配置文件中默认库创建。
#登录mysql
mysql -uroot -proot@密码
#登陆成功后修改默认密码
alter user root@localhost identified by '******';
#创建数据库
create database dlink DEFAULT character set utf8 DEFAULT COLLATE utf8_general_ci;
#授权
mysql> grant all privileges on dlink.* to 'dlink'@'%' identified by '******' with grant option;
mysql> flush privileges;

#在Dinky目录下的sql文件夹下有3个文件夹,分别是link.sql、dlink_history.sql和dlinkmysqlcatalog.sql。如果第一次部署,可以直接使用dlink.sql文件。(数据库建立了dlink ,dlink_history.sql存放了各个版本的,根据版本号及已经执行数据库的那个版本,就可以执行了)
#使用dlink用户登录
mysql> use dlink;
mysql> source /usr/local/apps/dlink/sql/dlink.sql

三、修改配置文件

#切换目录
cd /usr/local/apps/dlink/config
vim application.yml
#修改mysql连接地址及账号密码
spring:
datasource:
url:
jdbc:mysql://172.**.**.21:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
username: dlink
password: '******'

四、部署Nginx

在linux,首先要配置好相应的yum库,可以选择连接网络或者本地yum源都可以。
#下载yum源,有的话不用下载
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

#清除缓存
yum makecache
#接下来安装nginx
yum -y install epel-release
yum -y install nginx

#设置开机启动
sudo systemctl enable nginx
#启动命令
sudo service nginx start
#重新加载命令
sudo service nginx reload
#最后查看进程看是否正常启动
ps -ef|grep nginx
#查看版本号命令:nginx –version
nginx version: nginx/1.20.1

五、在nginx中配置dlink

#切换到nginx配置目录
cd /etc/nginx/
#打开配置文件,修改服务器中的内容,其内容按照如下配置即可。
vim /etc/nginx/nginx.conf

server {
listen       9999;
#listen       [::]:80;
server_name  dlink;
root         /usr/local/apps/dlink/html;
  gzip on;
 gzip_min_length 1k;
gzip_comp_level 9;
gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
gzip_vary on;
gzip_disable "MSIE [1-6]\.";

# Load configuration files for the default server block.
include /etc/nginx/default.d/*.conf;

location / {
 root   /usr/local/apps/dlink/html;
 index  index.html index.htm;
 try_files $uri $uri/ /index.html;
}
error_page 404 /404.html;
location = /404.html {
}

error_page 500 502 503 504 /50x.html;
location = /50x.html {
}

location ^~ /api {
 proxy_pass http://172.**.**.18:8011;
 proxy_set_header   X-Forwarded-Proto $scheme;
 proxy_set_header   X-Real-IP         $remote_addr;
}
}
#修改后保存,重启nginx并重新加载。
systemctl restart nginx.service
systemctl reload nginx.service
#查看nginx是否配置成功
nginx -t
nginx -s reload

六、添加依赖

该目录下的 Flink 环境的实现需要用户在 Dlink根目录下创建文件夹并上传相关的 Flink 依赖,如 flink-dist、flink-table 等,具体见于自己。

#创建目录
cd /usr/local/apps/dlink
mkdir plugins
#plugins添加jar包如下


#注意事项:dlink-client-1.13-0.6.6.jar包
dlink中的lib目录下默认的dlink-client版本为1.13,如果你安装的flink版本不是1.13,则需要删除lib目录下的dlink-client-1.13-0.6.6.jar包,然后去找到合适版本jar包,复制到lib下。

七、启动Dinky

#启动
$sh auto.sh start
#停止
$sh auto.sh stop
#重启
$sh auto.sh restart
#查看状态
$sh auto.sh status

八、访问及配置

登录Dinky平台:http://172.**.**.21:8888    账号:admin 密码:******
#切换到注册中心模块

#新建集群配置

#查看状态

#注册中心 -> Jar包管理

#运维中心 → 查看作业





【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。