离线数仓之Kerberos基本使用及问题记录

举报
WHYBIGDATA 发表于 2023/01/12 15:39:28 2023/01/12
【摘要】 离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录



0. 写在前面

  • Kerberos环境:已搭建好Kerberos并配置完成
  • 执行用户:root
  • Linux:CentOS7.5
  • Hadoop:Hadoop3.1.3
  • Hive:Hive3.1.2
  • Krberos:Kerberos5

集群规划:

  • node01:NN、DN、historyserver、Hive、Kerberos服务端、Kerberos客户端
  • node02:NM、RM、Kerberos客户端
  • node03:DN、2NN、Kerberos客户端

1. Kerberos基本使用

0. 启动Kerberos相关服务

在主节点(node01)启动KDC,并配置开机自启

[root@node01 ~]# systemctl start krb5kdc
[root@node01 ~]# systemctl enable krb5kdc

1. 安全模式下启动Hadoop集群

启动HDFS

# 启动NameNode
[root@root ~]# sudo -i -u hdfs hdfs --daemon start namenode
# 启动DataNode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
# 启动SecondaryNameNode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start secondarynamenode

启动Yarn

# 启动ResourceManager
[root@node02 ~]# sudo -i -u yarn yarn --daemon start resourcemanager
# 启动NodeManager
[root@node01 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@node02 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@node03 ~]# sudo -i -u yarn yarn --daemon start nodemanager

启动HistoryServer

# 启动历史服务器
[root@node01 ~]# sudo -i -u mapred mapred --daemon start historyserver

2. 安装Kerberos客户端访问HDFS页面

0. Windows下安装MIT Kerberos Ticket Manager

一路next即可,安装后会提醒是否立即重启电脑

有遇到过没有提醒直接重启电脑的,为了保险起见,建议安装之前先将集群的各个服务停止,关闭虚拟机

1. 使用「MIT Kerberos Ticket Manager」

  • 编辑C:\ProgramData\MIT\Kerberos5\krb5.ini文件
[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 forwardable = true
 rdns = false
 default_realm = EXAMPLE.COM

[realms]
 EXAMPLE.COM = {
  kdc = node01
  admin_server = node01
 }

[domain_realm]

2. 配置火狐浏览器

  • 在地址栏输入“about:config”,直接Enter,选择接受风险并继续

在这里插入图片描述

  • 直接搜索“network.negotiate-auth.trusted-uris”,修改值为要访问的主机名(node01)

在这里插入图片描述

  • 搜索“network.auth.use-sspi”,双击将值变为false

在这里插入图片描述

  • 重启火狐浏览器

3. 认证

  • 启动Kerberos客户端,点击Get Ticket,输入主体名Principal以及密码Password

  • 火狐浏览器访问:

https://node01:9871/
  • 选择browse the file system,输入主体名Principal以及密码Password,即可访问文件

在这里插入图片描述

3. Web端依旧没有权限访问文件及报错解决

火狐浏览器输入主体名及密码,出现以下错误:

Ticket initialization failed. Kerberos 5: client not found in Kerberos database(error:1765328378)

在这里插入图片描述

我查找了很久,还是没有找到这个错误的解决方法。因为我的配置是没有问题的,所以猜想会不会是浏览器的问题,没想到,重启火狐浏览器,再次访问HDFS真的就可以有权限访问文件了

重启万岁

在这里插入图片描述

4. Hive Kerberos认证使用之DataGrip客户端

0. 前置芝士

因为Apache Hive使用的驱动是原生自带的Hive驱动,但是这个自带的Hive驱动不支持Kerberos认证。所以连接不上之前数仓分层时在DataGrip创建的Hive数据源。

在这里插入图片描述


在这里插入图片描述

1. 新建driver

在这里插入图片描述

2. 配置Driver

在这里插入图片描述

3. 新建连接

在这里插入图片描述

4. 配置连接

  • 基础配置

在这里插入图片描述

jdbc:hive2://node01:10000/;principal=hive/node01@EXAMPLE.COM
  • 高级配置

在这里插入图片描述

  • 配置参数:
-Djava.security.krb5.conf="C:\\ProgramData\\MIT\\Kerberos5\\krb5.ini"
-Djava.security.auth.login.config="C:\\ProgramData\\MIT\\Kerberos5\\atguigu.conf"
-Djavax.security.auth.useSubjectCredsOnly=false

5. 编写JAAS(Java认证授权服务)配置文件

com.sun.security.jgss.initiate{
      com.sun.security.auth.module.Krb5LoginModule required
      useKeyTab=true
      useTicketCache=false
      keyTab="C:\\ProgramData\\MIT\\Kerberos5\\atguigu.keytab"
      principal="atguigu@EXAMPLE.COM";
};

6. 为用户生成keytab文件,在krb5kdc所在节点(node01)执行以下命令

[root@hadooop102]# kadmin.local -q"xst -norandkey -k /home/atguigu/atguigu.keytab atguigu"

7. 传输atguigu.keytab文件

将上一步生成的atguigu.keytab文件,置于Windows中的特定路径,该路径须与5中的keyTab属性的值保持一致

XFTP传输atguigu.keytab若不成功,将其chmod 777

8. 测试连接失败

  • 报错信息

在这里插入图片描述

  • 原因分析

jdbc:hive2://node01:10000/;principal=hive/node01@EXAMPLE.COM最后多了一个空格或者直接删掉DataGrip中的url,重新复制上文中的「4. 配置连接」的url

在这里插入图片描述

顺利完成

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。