Apache Kylin 3对接MRS 1.9.3+版本方法分享
出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。
经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。
1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/srv/client目录下。
https://support.huaweicloud.com/usermanual-mrs/mrs_01_0091.html
安装完成后需要导入环境变量。除了MRS客户端著名的bigdata_env之外,还需要HIVE_CONF和HCAT_HOME两个Kylin需要的环境变量。
source ./bigdata_env export HIVE_CONF=/srv/client/Hive/config/ export HCAT_HOME=/srv/client/Hive/HCatalog
2. 参照Kylin官方链接在以上MRS Client安装节点上安装Kylin,并指定KYLIN_HOME。MRS 1.9.3版本选择Kylin for HBase 1.x版本进行对接。安装其实就是解压缩,也没啥可说的,看官方指导就好了。
http://kylin.apache.org/cn/docs/install/index.html
export KYLIN_HOME=/srv/client/apache-kylin-3.0.2-bin-hbase1x
3. 移除Hive客户端目录下/srv/client/Hive/Beeline/lib/目录中以下jetty相关jar包以避免版本冲突。
javax-websocket-server-impl-9.4.26.v20200117.jar websocket-server-9.4.26.v20200117.jar jetty-all-9.4.26.v20200117-uber.jar jetty-runner-9.4.26.v20200117.jar apache-jsp-9.4.26.v20200117.jar
4. 启动Kylin服务,观察Kylin日志,正常情况下日志中不会再出现java.lang.NoSuchMethodException或java.lang.ClassNotFoundException这些兼容性异常。
$KYLIN_HOME/bin/kylin.sh start
5. 访问Kylin原生页面http://<hostname>:7070/kylin并运行样例 Cube 脚本
${KYLIN_HOME}/bin/sample.sh
验证kylin是否正常运行。
- 点赞
- 收藏
- 关注作者
评论(0)