Dinky实时计算平台安装部署
Dinky是一个开箱即用的一站式实时计算平台以Apache Flink为基础。
Dinky不依赖任何外部的Hadoop或者Flink环境,可以单独部署在Flink、Hadoop和K8S集群之外,完全解耦,支持同时连接多个不同的集群实例进行运维。
一、Dlink下载安装
Dinky 在Git源码下载地址:https://github.com/DataLinkDC/dlink
Dinky 官网下载地址:http://www.dlink.top/download/dinky-0.6.6/
dlink-release-0.6.6.tar.gz 安装包可以在官网下载打包好的,亦可下载源码编译打包。
上传到服务器目录:cd /usr/local/apps
解压:tar -zxvf dlink-release-0.6.6.tar.gz
重命名:mv dlink-release-0.6.6.tar.gz dlink
二、初始化数据库
2.1 在安装Dlink的服务器上安装mysql服务
解压mysql jar包:tar -xf mysql-5.7.30- 1.el7.x86_64.rpm-bundle.tar
创建目录: mkdir mysql-5.7.30-rpm
把解压的文件移动到此目录: mv *rpm mysql-5.7.30-rpm/
执行安装命令: sudo yum install *.rpm
开启MySQL服务:service mysqld start
设置数据库编码格式:echo character-set-server=utf8 >> /etc/my.cnf
查看默认密码: sudo grep 'temporary password' /var/log/mysqld.log
Dlink采用mysql作为后端的存储库,mysql支持5.6+。这里假设你已经安装了mysql
首先需要创建Dlink的后端数据库,这里以配置文件中默认库创建。
#登录mysql
mysql -uroot -proot@密码
#登陆成功后修改默认密码
alter user root@localhost identified by '******';
#创建数据库
create database dlink DEFAULT character set utf8 DEFAULT COLLATE utf8_general_ci;
#授权
mysql> grant all privileges on dlink.* to 'dlink'@'%' identified by '******' with grant option;
mysql> flush privileges;
#在Dinky目录下的sql文件夹下有3个文件夹,分别是link.sql、dlink_history.sql和dlinkmysqlcatalog.sql。如果第一次部署,可以直接使用dlink.sql文件。(数据库建立了dlink ,dlink_history.sql存放了各个版本的,根据版本号及已经执行数据库的那个版本,就可以执行了)
#使用dlink用户登录
mysql> use dlink;
mysql> source /usr/local/apps/dlink/sql/dlink.sql
三、修改配置文件
#切换目录
cd /usr/local/apps/dlink/config
vim application.yml
#修改mysql连接地址及账号密码
spring:
datasource:
url:
jdbc:mysql://172.**.**.21:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
username: dlink
password: '******'
四、部署Nginx
在linux,首先要配置好相应的yum库,可以选择连接网络或者本地yum源都可以。
#下载yum源,有的话不用下载
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#清除缓存
yum makecache
#接下来安装nginx
yum -y install epel-release
yum -y install nginx
#设置开机启动
sudo systemctl enable nginx
#启动命令
sudo service nginx start
#重新加载命令
sudo service nginx reload
#最后查看进程看是否正常启动
ps -ef|grep nginx
#查看版本号命令:nginx –version
nginx version: nginx/1.20.1
五、在nginx中配置dlink
#切换到nginx配置目录
cd /etc/nginx/
#打开配置文件,修改服务器中的内容,其内容按照如下配置即可。
vim /etc/nginx/nginx.conf
server {
listen 9999;
#listen [::]:80;
server_name dlink;
root /usr/local/apps/dlink/html;
gzip on;
gzip_min_length 1k;
gzip_comp_level 9;
gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
gzip_vary on;
gzip_disable "MSIE [1-6]\.";
# Load configuration files for the default server block.
include /etc/nginx/default.d/*.conf;
location / {
root /usr/local/apps/dlink/html;
index index.html index.htm;
try_files $uri $uri/ /index.html;
}
error_page 404 /404.html;
location = /404.html {
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
}
location ^~ /api {
proxy_pass http://172.**.**.18:8011;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Real-IP $remote_addr;
}
}
#修改后保存,重启nginx并重新加载。
systemctl restart nginx.service
systemctl reload nginx.service
#查看nginx是否配置成功
nginx -t
nginx -s reload
六、添加依赖
该目录下的 Flink 环境的实现需要用户在 Dlink根目录下创建文件夹并上传相关的 Flink 依赖,如 flink-dist、flink-table 等,具体见于自己。
#创建目录
cd /usr/local/apps/dlink
mkdir plugins
#plugins添加jar包如下
#注意事项:dlink-client-1.13-0.6.6.jar包
dlink中的lib目录下默认的dlink-client版本为1.13,如果你安装的flink版本不是1.13,则需要删除lib目录下的dlink-client-1.13-0.6.6.jar包,然后去找到合适版本jar包,复制到lib下。
七、启动Dinky
#启动
$sh auto.sh start
#停止
$sh auto.sh stop
#重启
$sh auto.sh restart
#查看状态
$sh auto.sh status
八、访问及配置
登录Dinky平台:http://172.**.**.21:8888 账号:admin 密码:******
#切换到注册中心模块
#新建集群配置
#查看状态
#注册中心 -> Jar包管理
#运维中心 → 查看作业
- 点赞
- 收藏
- 关注作者
评论(0)