FusionInsight MRS FlinkServer可视化开发平台解密

yangxiao_mrs 发表于 2021/10/29 22:06:56 2021/10/29
【摘要】 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业,以及方便运维人员对Flink作业的管理,FusionInsight MRS研发了FlinkServer可视化开发平台。

一、FlinkServer层次结构图

        FlinkServer中主要的功能模块包括:权限管理模块、系统管理模块(集群连接、数据连接、应用管理)、流表管理模块、作业管理模块、UDF管理模块。


二、FlinkServer权限管理模块

        通过Flink WebUI跳转到FlinkServer界面时需要用户登录,该用户需要具有Flink服务的相关角色权限。

        创建具有Flink权限的角色

        将该角色授予要登录FlinkServer的用户

二、系统管理模块

       系统管理模块中包含:集群连接管理、数据连接管理、应用管理。

       如果用户要通过流表管理模块创建流表(KafkaRedis流表),需要先创建对应的数据连接;如果要创建数据连接就需要先创建对应的集群连接(当前支持本集群)。所以在使用时先创建集群连接,再创建数据连接,最后使用数据连接创建对应的流表。

       创建集群连接


        创建数据连接

 

        应用管理是用户区分流表、作业、UDF使用的,例如企业中有不同的部门,一个部门可以对应FlinkServer中的一个应用,不同的应用有自己的流表、作业、UDF等。具有管理员权限的用户才可以创建、删除应用。


三、流表管理模块

        流表管理设计的初衷是为了方便业务用户定义流表,用户可以不熟悉FlinkSQL中建表语句,通过图形化界面来创建表。目前支持KafkaHDFSRedis三种类型的流表。创建好的流表可以在FlinkSQL作业中直接使用。

四、作业管理模块

        FlinkServer支持Flink SQL作业、Flink Jar作业的提交。

        Flink SQL作业中的流表可以通过create table语句创建也可以通过流表管理模块创建。Flink SQL的语法兼容开源Flink SQL语法。


       
通过FlinkServer提交Flink Jar作业,用户可以免去配置Flink客户端,很方便实用的功能。

 

五、UDF管理模块

        用户在使用Flink SQL时需要通过自定义函数来实现业务逻辑。用户编译好UDF Jar,通过FlinkServer上传创建后就可以在Flink SQL中使用。支持UDFUDAFUDTF三种类型。

六、作业运维

        用户可以通过FlinkServer提交、停止、删除、编辑作业,当作业运行后可以通过作业详情跳转到Flink原生界面,查看作业的相关详细信息。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。