永洪一站式大数据分析平台对接FusionInsight MRS hive

举报
晋红轻 发表于 2021/08/28 15:08:07 2021/08/28
【摘要】 本文介绍如何使用永洪bi对接FusionInsight MRS hive组件

永洪配置(需要链接zk的情况)

  • 确保永洪主机同mrs集群时间差不超过5分钟

  • 修改永洪主机/etc/hosts文件,将对接集群加入主机名配置

  • 修改配置文件/opt/Yonghong_z-Suite/tomcat/bin/catalina.sh

    增加的jvm配置参数为

    -Djava.security.krb5.conf=/optM/hetu/krb5.conf -Djava.security.auth.login.config=/opt/hetu/jaas.conf -Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com -Dzookeeper.sasl.clientconfig=Client -Dzookeeper.auth.type=kerberos
    

    其中/opt/hetu/jaas.conf配置文件内容:

    Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/opt/hetu/user.keytab"
    principal="developuser"
    useTicketCache=false
    storeKey=true
    debug=true;
    };
    
  • 重启永洪bi

    cd /opt/Yonghong_z-Suite/tomcat/bin
    sh shutdown.sh
    sh startup.sh
    

配置对接hive

前提条件:完成第一部分《永洪配置(需要链接zk的情况)》配置

  • 登录永洪界面配置链接:

    1: GENERIC
    2: 选择自定义驱动,上传MRS hive客户端jdbc驱动包,具体配置见说明
    3: jdbc:hive2://172.16.5.51:24002,172.16.5.52:24002,172.16.5.53:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;sasl.qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=/opt/hetu/user.keytab
    4: 无身份验证
    

    说明:

    1. user.keytab, krb5.conf文件为对应用户的认证文件,请从MRS manager下载

    2. hive自定义驱动包配置如下

    从MRS客户端(/opt/client/Hive/Beeline/lib/jdbc)获取jar包本地上传,注意要删除该路径下的jdbc_pom.xml文件

  • 测试连接:

  • 查看数据:

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。