记录一次华为MRS 集群排错案例 【玩转华为云】

一、错误原因分析

1. 错误①：unable to read HiveServer2 configs from ZooKeeper
2. 原因：Spark 通过 ZooKeeper 自动发现 HiveServer2 地址时失败。可能是 ZooKeeper 集群地址 / 端口错误、ZooKeeper 中 HiveServer2 的注册路径（默认/hiveserver2）被修改，或网络不通（如防火墙阻止 ZooKeeper 端口 2181/2182）。
3. 错误②：KeeperErrorCode=Session closed because client failed to authenticate for /hiveserver2

1. 原因：ZooKeeper 启用了认证机制（MRS 集群通常默认集成 Kerberos，ZooKeeper 可能依赖 Kerberos 认证），而 Spark 客户端未正确配置认证信息，导致 ZooKeeper 拒绝连接。

二、解决步骤（针对 MRS 集群 Hive 的适配）

1. 确认 Hive 连接的核心参数（基于 ZooKeeper 的服务发现）

jdbc:hive2://<zk-quorum>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;<auth-params>

• <zk-quorum>：ZooKeeper 集群地址，格式为zk-node1:port,zk-node2:port（MRS 集群的 ZooKeeper 端口通常是 2181，若启用安全模式可能是 2182）。
• zooKeeperNamespace：HiveServer2 在 ZooKeeper 中的注册根路径（默认hiveserver2，若云端有自定义需同步修改）。
• <auth-params>：认证相关参数（MRS 默认启用 Kerberos，需添加 Kerberos 认证参数）。

2. 配置 Kerberos 认证（解决 ZooKeeper 认证失败）

（1）获取 Kerberos 配置文件

• krb5.conf：Kerberos 的配置文件（包含 KDC 地址、 Realm 等信息）。
• 用于访问 Hive 的keytab文件（如hiveuser.keytab）和对应的principal（如hiveuser@HADOOP.COM）。

（2）Spark 代码中添加 Kerberos 认证参数

import org.apache.spark.sql.SparkSession

object HiveJdbcExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Hive-JDBC-Example")
      // 加载Kerberos配置
      .config("spark.driver.extraJavaOptions", "-Djava.security.krb5.conf=/etc/krb5.conf")
      .config("spark.executor.extraJavaOptions", "-Djava.security.krb5.conf=/etc/krb5.conf")
      .getOrCreate()

    // Hive JDBC连接参数
    val jdbcOptions = Map(
      "url" -> "jdbc:hive2://zk-node1:2181,zk-node2:2181,zk-node3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;authMech=1;principal=hive/_HOST@HADOOP.COM",
      "dbtable" -> "default.t1",  // 目标表
      "user" -> "hiveuser",       // MRS集群的Hive用户名
      "password" -> "",           // Kerberos认证时密码可为空，依赖keytab
      "driver" -> "org.apache.hive.jdbc.HiveDriver"
    )

    // 若需通过keytab自动登录（避免手动kinit），可在代码中添加登录逻辑
    import org.apache.hadoop.security.UserGroupInformation
    UserGroupInformation.setConfiguration(spark.sparkContext.hadoopConfiguration)
    UserGroupInformation.loginUserFromKeytab("hiveuser@HADOOP.COM", "/opt/keytabs/hiveuser.keytab")

    // 读取Hive表
    val df = spark.read.format("jdbc").options(jdbcOptions).load()
    df.show()

    spark.stop()
  }
}

3. 验证 ZooKeeper 连接与路径

• 检查 ZooKeeper 地址和端口：通过telnet zk-node1 2181测试网络连通性，确保本地 Spark 服务器能访问 MRS 的 ZooKeeper 节点。
• 确认 HiveServer2 在 ZooKeeper 的注册路径：若云端 MRS 修改过默认路径（非/hiveserver2），需在 URL 中同步修改zooKeeperNamespace参数（如zooKeeperNamespace=custom-hiveserver2）。

4. 依赖包兼容性处理（避免版本冲突）

• 移除 Spark 默认的低版本hive-jdbc、zookeeper、hadoop-common等 jar 包。
• 添加 MRS 3.3.0 配套的依赖（可从 MRS 集群的/usr/share/hadoop、/usr/share/hive目录拷贝，或通过 MRS 的 maven 仓库引入）：
  • hive-jdbc-<version>.jar
  • hive-service-<version>.jar
  • zookeeper-<version>.jar
  • hadoop-common-<version>.jar
  • hadoop-auth-<version>.jar（Kerberos 认证依赖）

5. 用 beeline 工具验证连接（排除服务端问题）

beeline -u "jdbc:hive2://zk-node1:2181,zk-node2:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@HADOOP.COM" -n hiveuser -k

• 若beeline能成功连接，说明服务端和认证配置正确，问题在 Spark 客户端；
• 若beeline也失败，需先排查 MRS 集群的 HiveServer2 状态、ZooKeeper 状态及 Kerberos 配置。

三、注意一下下

1. MRS 安全模式差异：若云端 MRS 集群未启用 Kerberos（非安全模式），则认证参数简化为authMech=3（用户名密码认证），URL 中添加password=<your-password>。
2. ZooKeeper 认证类型：除 Kerberos 外，部分场景可能使用 ZooKeeper 的 Digest 认证，需在 URL 中添加zookeeper.auth=digest:username:password。
3. 日志排查：开启 Spark 的 DEBUG 日志（spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties），查看 ZooKeeper 连接阶段的详细报错（如 “no route to host” 为网络问题，“invalid token” 为 Kerberos 认证失败）。