HIVE的搭建配置及关联MySQL

概念：

Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL（Hive SQL）查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据，使用于离线的批量数据计算。

一、下载

前提： 配置好hadoop分布式环境，我在上一篇博文写到Hadoop从零开始搭建完全分布式。

官网下载hive，这里我用hive-1.2.2版本：官网下载地址：http://mirrors.shu.edu.cn/apache/hive/hive-1.2.2/

我这里选择下载到本地然后通过xftp上传到虚拟机上。

解压：

tar -xzvf apache-hive-1.2.2-bin.tar.gz

  
 

  
1
 

重命名

mv apache-hive-1.2.2-bin hive-1.2.2

  
 

  
1
 

二、配置

（1）配置环境变量

vi /etc/profile

  
 

  
1
 

将以下添加在末尾

export HIVE_HOME=/software/hive-1.2.2
PAHT=$PATH:$HIVE_HOME/bin

  
 

  
1
  
2
 

刷新

source /etc/profile

  
 

  
1
 

查看

source /etc/profile

  
 

  
1
 

（2）配置文件
修改software/hive-1.2.2/conf/hive-env.sh.template为hive-env.sh。

cd /software/hive-1.2.2/conf/
cp hive-env.sh.template hive-env.sh

  
 

  
1
  
2
 

• 配置HADOOP_HOME=/Hadoop所在路径

export HADOOP_HOME=/software/hadoop2.7.2

  
 

  
1
 

• 配置HIVE_CONF_DIR=/Hive中conf文件夹路径

export HIVE_CONF_DIR=/software/hive-1.2.2/conf

  
 

  
1
 

三、启动

（1）启动HDFS
在hadoop01机上

start-dfs.sh

  
 

  
1
 

（2）启动YARN
在hadoop02机上

start-yarn.sh

  
 

  
1
 

通过jps检测启动情况

（3）在HDFS上创建/tmp和/user/hive/warehouse

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse

  
 

  
1
  
2
 

（4）修改文件夹权限，同组可写

hadoop fs -chmod 775 /tmp
hadoop fs -chmod 775 /user/hive/warehouse

  
 

  
1
  
2
 

（5）启动Hive

hive

  
 

  
1
 

四、hive基本操作

1.基本操作(语法类似于MySQL)
2.显示所有数据库：show databases;
3.使用数据库(默认数据库default):use 数据库名;
4.显示使用数据库下所有表:show tables;
5.创建表:create table 表名(字段1 类型,字段2 类型…)
6.插入数据(map reduce):insert into 表名 (字段1,字段2…) values (数据1,数据2…)
7.查询数据:select 字段 from 表名;
8.删除表:drop table 表名;
9.退出:exit

五、安装mysql####

1. 卸载Mariadb

CentOS7自带的是 Mariadb
（1）查找

rpm -qa|grep mariadb

  
 

  
1
 

（2）删除

rpm -e --nodeps 上面查出来的文件名

  
 

  
1
 

（3）删除配置文件

rm /etc/my.cnf

  
 

  
1
 

2.下载mysql 8.0

这里我通过rpm安装
官网下载：mysql8.0.15

（1）解压

tar -xvf mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar 

  
 

  
1
 

（2）安装
解决一些依赖

yum -y install numactl yum -y install libaio.so.1 libgcc_s.so.1 libstdc++.so.6
yum update libstdc++-4.4.7-4.el6.x86_64
yum search libaio
yum install libaio
yum install net-tools
yum install openssl-devel

  
 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

按次序安装

rpm -ivh MySQL-client-5.6.43-1.el7.x86_64.rpmrpm -ivh mysql-community-common-8.0.15-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.15-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.15-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-8.0.15-1.el7.x86_64.rpm

  
 

  
1
  
2
  
3
  
4
 

（3）初始化

mysqld --initialize --user=mysql --basedir=/usr --datadir=/var/lib/mysql

  
 

  
1
 

（4）启动

systemctl start mysqld

  
 

  
1
 

（5）修改密码

• 编辑配置文件
  vim /etc/my.cnf
  在[mysqld]下添加skip-grant-tables
  保存退出
• 重启mysql服务
  systemctl restart mysqld
• 通过mysql -uroot -p
  登录，密码直接回车即可
• 选择mysql数据库
  use mysql;
• 将默认密码清空
  update user set authentication_string=’’ where user=‘root’;
  exit命令退出
• 删除 /etc/my.cnf 文件刚刚添加的 skip-grant-tables
  vim /etc/my.cnf
  选中skip-grant-tables所在行按两下d键即可删除
  保存退出
• 重启mysql服务
  systemctl restart mysqld
• 再次登录
  mysql -uroot -p
  登录，密码直接回车即可
• 设置密码（我这里将密码设为root）
  选择mysql数据库
  use mysql;
  ALTER user ‘root’@‘localhost’ IDENTIFIED BY ‘root’;
• 设置远程访问
  update user set host=’%’ where user=‘root’;
• 重启
  exit退出
  重启服务systemctl restart mysqld
  重新通过mysql -uroot -proot登录
• 远程连接
  我通过navicat远程连接，
  
• 设置开机启动
  systemctl enable mysqld

至此，mysql安装完成。

六、hive关联mysql####

1.下载驱动jar

我安装的是mysql8.0.15版本，我找对应版本的jar
平时个人比较喜欢到mvnrepository去找jar，附上地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.15

将下载好的jar放到hadoop01虚拟机中hive安装目录的lib文件夹下

2.配置hive-site.xml

创建hive-site.xml

cd /software/hive-1.2.2/conf
vim hive-site.xml

  
 

  
1
  
2
 

将以下添加进去（灵活应变）

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.17.134:3306/myhive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value>
 </property>
</configuration>
  
 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
 

3.重启整个集群

（1）在Hadoop02上

stop-yarn.sh

  
 

  
1
 

（2）在Hadoop01上

stop-dfs.sh

  
 

  
1
 

（3）在Hadoop01上

start-dfs.sh

  
 

  
1
 

（4）在Hadoop02上

start-yarn.sh

  
 

  
1
 

（5）在Hadoop01上重启mysql

systemctl restart mysqld

  
 

  
1
 

4.启动

hive

  
 

  
1
 

启动完成后用navicat查看发现已经自动创建了myhive数据库。

也可以通过命令行查看

mysql -uroot -proot
show databases;

  
 

  
1
  
2
 

5.其他配置（看需求）

hive-site.xml中

#数据库存放位置
<property>
<name>hive.metastore.warehouse.dir</name> 
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description> 
</property> 
#查询时显示字段名称和数据库名
<property> 
<name>hive.cli.print.header</name>
<value>true</value> 
</property> 
<property> 
<name>hive.cli.print.current.db</name>
 <value>true</value> 
</property>
  
 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
 

七、测试

（1）进入数据库

create database fuzui;
use fuzui;

  
 

  
1
  
2
 

（2）创建表

create table student( id int, name string, age int, sex string)
row format delimited fields terminated by ',';

  
 

  
1
  
2
  
3
  
4
  
5
  
6
 

在mysql中会看到创建这个表的字段信息

（3）退出hive

exit

  
 

  
1
 

（4）创建本地文件上传到HDFS
<1>我直接用的root用户，所以我在root目录下创建

cd /root
vim fz.txt

  
 

  
1
  
2
 

添加如下内容

201501,wangze,22,man
201502,wangchen,20,man
201503,liyu,20,woman
201504,zhangna,21,woman
201505,songxin,19,woman
201506,changyi,18,man
201507,liuni,20,woman
201508,zhaoming,22,man

  
 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
 

保存退出
<2>上传hdfs

• 创建文件夹
  hadoop fs -mkdir /myhive
• 上传
  hadoop fs -put /root/fz.txt /myhive
• 查看
  hadoop fs -cat /myhive/fz.txt
  
  （5）进入hive

hive

  
 

  
1
 

（6）导入hive表

• 进入数据库
  use fuzui

• 导入
  load data inpath '/myhive/fz.txt' into table student;
  

• 查看数据
  select * from student;
  

• 稍微复杂点的查询
  查询最小的女生多少岁
  select min(age) from student where sex = 'woman';
  这时，就开始一系列运行了，速度会慢。

至此，HIVE搭建成功！

文章来源: fuzui.blog.csdn.net，作者：极客时代，版权归原作者所有，如需转载，请联系作者。

原文链接：fuzui.blog.csdn.net/article/details/89003922