Hive 的架构

1. 简介

HDFS：用来存储hive仓库的数据文件 yarn：用来完成hive的HQL转化的MR程序的执行 MetaStore：保存管理hive维护的元数据 Hive：用来通过HQL的执行，转化为MapReduce程序的执行，从而对HDFS集群中的数据文件进行统计。

2. 图

Hive的安装

虚拟机内存设置至少2G

# 步骤
1. HDFS
2. Yarn
3. MySQL
4. Hive

#参考MySQL安装文档
如果已经安装好了，但没有启动，可以执行下面的语句：
systemctl enable mysqld
systemctl start mysqld
systemctl status mysqld
#最后测试是否可用：
mysql -uroot -p123456

# 配置hdfs和yarn的配置信息

#修改hadoop下的core-site.xml文件
<!-- 配置权限，hive访问hdfs的权限开启 -->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

[root@hadoop ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/installs
[root@hadoop ~]# mv apache-hive-3.1.2-bin hive3.1.2

export HIVE_HOME=/opt/installs/hive3.1.2
export PATH=$PATH:$HIVE_HOME/bin

[root@hadoop ~]# source /etc/profile

# 拷贝一个hive-env.sh
[root@hadoop10 conf]# mv hive-env.sh.template hive-env.sh
# 配置hadoop目录
HADOOP_HOME=/opt/installs/hadoop3.1.4/
# 指定hive的配置文件目录
export HIVE_CONF_DIR=/opt/installs/hive3.1.2/conf/

hive-site.xml文件的具体配置如下所示：

拷贝得到hive-site.xml
[root@hadoop10 conf]# cp hive-default.xml.template hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--hive的元数据保存在mysql中，需要连接mysql，这里配置访问mysql的信息-->
    <!--url：这里必须用ip-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop10:3306/hive?useSSL=false</value>
    </property>
    <!--drivername-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <!--username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!--password-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    
    <!-- 显示表的列名 -->
    <property>
            <name>hive.cli.print.header</name>
            <value>true</value>
    </property>
    
    <!-- 显示数据库名称 -->
    <property>
            <name>hive.cli.print.current.db</name>
            <value>true</value>
    </property>
    
    <!-- 解决启动等一分钟重试问题 -->
    <property>
            <name>hive.server2.active.passive.ha.enable</name>
            <value>true</value>
    </property>
    
</configuration>

登录mysql创建hive数据库(使用命令行创建)
create database hive
复制mysql驱动jar到hive的lib目录中
驱动包在资料中的mysql驱动 文件夹下
mysql-connector-java-8.0.26.jar放到/opt/installs/hive3.1.2/lib/

#将/opt/installs/hive3.1.2/lib下的guava-19.0.jar修改为guava-19.0.jar.bak
#jar包带上bak，jvm将不进行加载，相当于删除
cd /opt/installs/hive3.1.2/lib
mv guava-19.0.jar guava-19.0.jar.bak
#将hadoop下的guava-27.0-jre.jar 复制到hive的lib下
cp /opt/installs/hadoop3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/installs/hive3.1.2/lib

#将/opt/installs/hive3.1.2/lib下的log4j-slf4j-impl-2.10.0.jar修改带上.bak
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

# 启动HDFS
start-dfs.sh
# 启动yarn
start-yarn.sh

初始化元数据：schematool -dbType mysql -initSchema
初始化mysql的hive database中的信息。
如果初始化报错，在hive-site.xml文件中，将里面的注释删除（&#8）

# 本地模式启动 【管理员模式】
# 启动hive服务器，同时进入hive的客户端。只能通过本地方式访问。
[root@hadoop10 ~]# hive
hive>

客户端操作之HQL(Hive Query language)

# 1. 查看数据库
        hive> show databases;
# 2. 创建一个数据库
        hive> create database test_hive;
# 3. 查看database 
        hive> show databases;
# 4. 切换进入数据库
        hive> use test_hive;
# 5.查看所有表
        hive> show tables;
# 6.创建一个表
        hive> create table t_user(id string,name string,age int);
# 7. 添加一条数据(转化为MR执行--不让用，仅供测试)
        hive> insert into t_user values('1001','zhangsan',20);
# 8.查看表结构
        hive> desc t_user;
# 9.查看表的schema描述信息。(表元数据，描述信息)
        hive> show create table t_user;
        # 明确看到，该表的数据存放在hdfs中。
# 10 .查看数据库结构
        hive> desc database test_hive;
# 11.查看当前库
        hive> select current_database();
# 12 其他sql
    select * from t_user;
    select count(*) from t_user; (Hive会启动MapReduce)

# 启动hive的服务器，可以允许远程连接方式访问。
// 前台启动
[root@hadoop10 ~]# hiveserver2 
// 后台启动
[root@hadoop10 ~]# hiveserver2 &

# 启动客户端
[root@hadoop10 ~]# beeline
beeline>!connect jdbc:hive2://hadoop10:10000

# 1: 解压
# 2: 准备dbeaver连接hive的依赖jar，建议将jar包放置在dbeaver安装目录中
# 3: 启动
# 4: 初次使用，需要在linux中执行   hdfs dfs -chmod -R 777 /

执行sql语句
hive -e sql语句
例如：hive -e "select * from [数据库名.]t_person"

执行文件中的sql语句
hive -f sql脚本(脚本里面直接写sql语句)
例如：hive -f /opt/data/hive.sql

-- 在hive的配置文件  hive-env.sh 中，将以下配置注释解开
export HADOOP_HEAPSIZE=1024

-- 在SQL会话中，执行以下语句：
set hive.exec.mode.local.auto=true;

nohup command >output.txt 2>&1 &
nohup 作用：终端结束，命令可以不挂起在后台继续运行
&     作用：后台运行
> output.txt 作用： command 产生的日志(控制台输出)重定向到该文件中
 2>&1 作用：将错误的日志重定向到正确日志对应的输出
 
 nohup command >/dev/null 2>&1 &   了解 >/dev/null 黑洞，其实就是扔掉日志
 
 启动： nohup hiveserver2 >/opt/installs/hive3.1.2/output.txt 2>&1 &
 停止： ps -ef | grep HiveServer2 | grep -v grep | awk '{print $2}' | xargs kill
 
 [root@hadoop10 sbin]# cat start-hive.sh
#! /bin/bash

nohup hiveserver2 >/opt/installs/hive3.1.2/output.txt 2>&1 &

[root@hadoop10 sbin]# cat stop-hive.sh
#! /bin/bash

#ps -ef | grep HiveServer2 | grep -v grep | awk '{print $2}' | xargs kill

x1=`ps -ef | grep HiveServer2 | grep -v grep | awk '{print $2}'`
kill $x1