Apache Kylin 3对接MRS 1.9.3+版本方法分享

举报
司靖 发表于 2020/07/07 20:13:42 2020/07/07
【摘要】 出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/sr...

出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。

经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。

1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/srv/client目录下。
https://support.huaweicloud.com/usermanual-mrs/mrs_01_0091.html
安装完成后需要导入环境变量。除了MRS客户端著名的bigdata_env之外,还需要HIVE_CONF和HCAT_HOME两个Kylin需要的环境变量。

source ./bigdata_env
export HIVE_CONF=/srv/client/Hive/config/
export HCAT_HOME=/srv/client/Hive/HCatalog



2. 参照Kylin官方链接在以上MRS Client安装节点上安装Kylin,并指定KYLIN_HOME。MRS 1.9.3版本选择Kylin for HBase 1.x版本进行对接。安装其实就是解压缩,也没啥可说的,看官方指导就好了。

http://kylin.apache.org/cn/docs/install/index.html

export KYLIN_HOME=/srv/client/apache-kylin-3.0.2-bin-hbase1x



3. 移除Hive客户端目录下/srv/client/Hive/Beeline/lib/目录中以下jetty相关jar包以避免版本冲突。

javax-websocket-server-impl-9.4.26.v20200117.jar
websocket-server-9.4.26.v20200117.jar
jetty-all-9.4.26.v20200117-uber.jar
jetty-runner-9.4.26.v20200117.jar
apache-jsp-9.4.26.v20200117.jar



4. 启动Kylin服务,观察Kylin日志,正常情况下日志中不会再出现java.lang.NoSuchMethodException或java.lang.ClassNotFoundException这些兼容性异常。

$KYLIN_HOME/bin/kylin.sh start



5. 访问Kylin原生页面http://<hostname>:7070/kylin并运行样例 Cube 脚本

${KYLIN_HOME}/bin/sample.sh

验证kylin是否正常运行。




【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。