大数据技术实践之hive安装和配置

由于我们的Hadoop版本是2.9.2，所以在这里我们选择2.3.7版本进行下载

1. 文件准备

   将下载下来的Hive 的配置文件进行解压

   在linux上输入: 

   tar -xvf  apache-hive-2.3.7-bin.tar.gz
   

   是否移动无所谓，自己安装到最熟悉的目录即可。然后移动到/opt/hive 里面，将文件夹重命名为 hive2.3输入

   mkdir /opt/hive
   mv  apache-hive-2.3.7-bin  /opt/hive/hive2.3

2. 环境配置

    编辑 /etc/profile 文件，输入:

vim /etc/profile

        然后添加

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

   注意：以自己实际为准，然后输入下面指令，使配置生效。

source  /etc/profile

       3.配置更改

            新建文件夹(我自己的设置到了home/hive下，同学们根据自己的决定路径）

    在修改配置文件之前，需要先在root目录下建立一些文件夹。

mkdir /root/hive
mkdir /root/hive/warehouse

    新建完该文件之后，需要让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

    给刚才新建的目录赋予读写权限，执行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse

   检查这两个目录是否成功创建，输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

        可以看到已经成功创建。

        4.修改 hive-site.xml

   切换到 /opt/hive/hive2.1/conf 目录下，将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml，然后编辑hive-site.xml文件。

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

   编辑hive-site.xml文件，在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  
<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>
  <!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  
<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类,hive用到了mysql-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

   然后将配置文件中所有的${system:java.io.tmpdir}更改为 /opt/hive/tmp (如果没有该文件则创建)，并将此文件夹赋予读写权限，将${system:user.name}更改为 root

   5.修改 hive-env.sh

   修改hive-env.sh 文件，没有就复制 hive-env.sh.template ，并重命名为hive-env.sh在这个配置文件中添加指令如下

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

         6.添加数据驱动包
       由于Hive 默认自带的数据库是使用mysql，所以这块就是用mysql，将mysql 的驱动包 上传到 /opt/hive/hive2.3/lib，cp /home/chenjian/mysql-connector-java-8.0.32.jar  /opt/hive/hive2.3/lib/

          7.Hive Shell 测试

   在成功启动Hadoop之后，切换到Hive目录下，输入:

cd /opt/hive/hive2.1/bin

         7.1.首先初始化数据库
         初始化的时候注意要将mysql启动； 在hive的bin下输入一下命令           

schematool  -initSchema -dbType mysql

    执行成功之后，然后去mysql下查看,可以看到hive数据库和一堆表已经创建成功了

       7.2.启动hive
       进入hive (确保hadoop以及成功启动)输入hive,进入hive 之后。做一些简单的操作，新建一个库，然后在建一张表。
       基本操作和普通的关系型数据库差不多
       创建库:     

 create database game; 

       创建表:  

    create  table  game.student(id int,name string)  row  format  delimited  fields   terminated  by  ' ';

         by””这个是以一个空格进行分割；如果是以Tab键分割，使用\t。

       7.3 加载数据

       新打开一个窗口，因为hive 不支持写，所以添加数据使用load加载文本获取。新建一个文本

touch  /opt/hive/student.txt

   编辑该文本添加数据，输入:

vim /opt/hive/student.txt

1001    zhangsan
1002    lisi
1003    wangwu

       说明: 文本可以在Windows上面新建，然后通过ftp上传到linux中，需要注意文本的格式为unix 格式。

       切换到hive shell， 加载数据，输入:

load data local inpath '/opt/hive/student.txt'  into table game.student;

       7.4.查询该数据
       输入select * from game.student，效果如下所示：