Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

Hive主要特点如下：

• 海量结构化数据分析汇总。
• 将复杂的MapReduce编写任务简化为SQL语句。
• 灵活的数据存储格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE，ORC（Optimized Row Columnar）这几种存储格式。

Hive结构

Hive提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，如下为Hive的结构概图。

HCatalog建立在Hive Metastore之上，具有Hive的DDL能力。从另外一种意义上说，HCatalog还是Hadoop的表和存储管理层，它使用户能够通过使用不同的数据处理工具（比如MapReduce），更轻松地在网格上读写HDFS上的数据，HCatalog还能为这些数据处理工具提供读写接口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHcat Server还对外提供了RESTful接口。

Hive原理

Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。

• Metastore：对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。
• Driver：管理HiveQL执行的生命周期并贯穿Hive任务整个执行期间。
• Compiler：编译HiveQL并将其转化为一系列相互依赖的Map/Reduce任务。
• Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HiveQL生成的执行计划和MapReduce任务进行优化。
• Executor：按照任务的依赖关系分别执行Map/Reduce任务。
• ThriftServer：提供thrift接口，作为JDBC的服务端，并将Hive和其他应用程序集成起来。
• Clients：包含WebUI和JDBC接口，为用户访问提供接口。
  

Hive操作示例

在华为云MRS集群中，您可以通过连接HBase客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。

MRS集群的创建可参考创建集群。

1. 安装集群客户端后，登录客户端。

   cd /opt/client/
   source bigdata_env
   kinit hiveuser   #集群未开启Kerberos认证忽略

2. 执行命令进入Hive Beeline命令行。

   beeline
   
   ...
   Beeline version 3.1.0-hw-ei-311001-SNAPSHOT by Apache Hive
   0: jdbc:hive2://XXX:21066/> 

3. 创建一个表“mytable”。

   create table mytable(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;

   执行命令，查看表是否创建成功。

   show tables;
   
   ...
   +--------------------------------------+
   |               tab_name               |
   +--------------------------------------+
   | mytable                              |
   +--------------------------------------+
   
   

   
   
4. 将本地源数据文件导入表中。

   例如本地已提前准备好源数据文件“/tmp/data.txt”，文件内容如下：

   1,yang,AAA 
   2,liu,BBB 
   3,cheng,CCC

   在beeline命令行中执行命令加载数据至Hive表中。

   load data local inpath '/tmp/data.txt' into table mytable;

   数据导入后，查询Hive表内容数据。

   select * from mytable;
   
   ...
   +-------------+---------------+------------------+
   | mytable.id  | mytable.name  | mytable.company  |
   +-------------+---------------+------------------+
   | 1           | yang          | AAA              |
   | 2           | liu           | BBB              |
   | 3           | cheng         | CCC              |
   +-------------+---------------+------------------+
   

5. 删除表。

   drop table mytable;

好了，本期云小课就介绍到这里，快去体验MapReduce(MRS)更多功能吧！猛戳这里