目录

分布式SQL引擎

Hive的SQL交互方式

ThriftServer JDBC/ODBC Server

开启sparksql的thriftserver

使用beeline 客户端连接

JDBC/ODBC 客户端

分布式SQL引擎

Hive的SQL交互方式

回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？

 方式一：交互式命令行（CLI）

• bin/hive，编写SQL语句及DDL语句

 方式二：启动服务HiveServer2（Hive ThriftServer2)

• 将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为10000
• 1)   交互式命令行，bin/beeline，CDH 版本HIVE建议使用此种方式，CLI方式过时
• 2）JDBC/ODBC方式，类似MySQL中JDBC/ODBC方式

SparkSQL模块从Hive框架衍生发展而来，所以Hive提供的所有功能（数据分析交互式方式）都支持，文档：http://spark.apache.org/docs/2.4.5/sql-distributed-sql-engine.html。

ThriftServer JDBC/ODBC Server

开启sparksql的thriftserver

Spark Thrift Server将Spark Applicaiton当做一个服务运行，提供Beeline客户端和JDBC方式访问，与Hive中HiveServer2服务一样的。

在企业中使用PySpark和SQL分析数据，尤其针对数据分析行业。

在$SPARK_HOME目录下的sbin目录，有相关的服务启动命令:

node1上执行

      /export/server/spark/sbin/start-thriftserver.sh \
      --hiveconf hive.server2.thrift.port=10000 \
      --hiveconf hive.server2.thrift.bind.host=node1 \
      --master local[2]
  
 

停止使用:在实际大数据分析项目中，使用SparkSQL时，往往启动一个ThriftServer服务，分配较多资源（Executor数目和内存、CPU），不同的用户启动beeline客户端连接，编写SQL语句分析数据。

/export/server/spark/sbin/stop-thriftserver.sh

使用beeline 客户端连接

使用SparkSQL的beeline客户端命令行连接ThriftServer，启动命令如下：

      /export/server/spark/bin/beeline
      !connect jdbc:hive2://node1:10000
      root
      123456
  
 

show database;编写SQL语句执行分析：

show tables;

select * from person;

监控WEB UI界面：

http://node1:4040/jobs/

JDBC/ODBC 客户端

参考文档：https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-JDBC

SparkSQL中提供类似JDBC/ODBC方式，连接Spark ThriftServer服务，执行SQL语句，首先添加Maven依赖库：

      <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-hive-thriftserver_2.11</artifactId>
                  <version>${spark.version}</version>
      </dependency>
  
 

范例演示：采用JDBC方式读取Hive中db_hive.emp表的数据。

      package cn.itcast.sql
      import java.sql.{Connection, DriverManager, PreparedStatement, ResultSet}
      /**
        * SparkSQL 启动ThriftServer服务，通过JDBC方式访问数据分析查询
        */
      object SparkThriftJDBC {
          def main(args: Array[String]): Unit = {
              // 定义相关实例对象，未进行初始化
              var conn: Connection = null
              var ps: PreparedStatement = null
              var rs: ResultSet = null
              try {
                  // TODO： a. 加载驱动类
                  Class.forName("org.apache.hive.jdbc.HiveDriver")
                  // TODO: b. 获取连接Connection
                  conn = DriverManager.getConnection(
                      "jdbc:hive2://node1:10000/default",
                      "root",
                      "123456"
                  )
                  // TODO: c. 构建查询语句
                  val sqlStr: String =
                      """
                        |select * from person
                      """.stripMargin
                  ps = conn.prepareStatement(sqlStr)
                  // TODO: d. 执行查询，获取结果
                  rs = ps.executeQuery()
                  // 打印查询结果
                  while (rs.next()) {
                      println(s"id = ${rs.getInt(1)}, name = ${rs.getString(2)}, age = ${rs.getInt(3)}}")
                  }
              } catch {
                  case e: Exception => e.printStackTrace()
              } finally {
                  if (null != rs) rs.close()
                  if (null != ps) ps.close()
                  if (null != conn) conn.close()
              }
          }
      }
  
 

文章来源: lansonli.blog.csdn.net，作者：Lansonli，版权归原作者所有，如需转载，请联系作者。

原文链接：lansonli.blog.csdn.net/article/details/115920791