九十四、Spark-SparkSQL(整合Hive)
【摘要】
读取本地文件上传至Hive数据仓库
pom.xml
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifact...
读取本地文件上传至Hive数据仓库
pom.xml
-
<dependency>
-
<groupId>org.apache.spark</groupId>
-
<artifactId>spark-hive_2.12</artifactId>
-
<version>${spark.version}</version>
-
</dependency>
启动Hive的metastore（RunJar进程）
nohup /home/hive/bin/hive --service metastore &
代码
-
package org.example.SQL
-
-
import org.apache.log4j.{Level, Logger}
-
import org.apache.spark.sql.SparkSession
-
-
-
object sql_Hive {
-
def main(args: Array[String]): Unit = {
-
Logger.getLogger("org").setLevel(Level.ERROR)
-
//增加参数配置 和 HiveSQL语法支持
-
val spark: SparkSession = SparkSession.builder().appName("test").master("local[*]")
-
.config("spark.sql.warehouse.dir", "hdfs://192.168.231.105:8020/user/hive/warehouse")//指定Hive数据库在HDFS上的位置
-
.config("hive.metastore.uris", "thrift://192.168.231.105:9083")//hive 的 RunJar进程
-
.enableHiveSupport() //开启对hive语法的支持
-
.getOrCreate()
-
-
spark.sql("show databases").show()
-
spark.sql("show tables").show()
-
spark.sql("create table person(id int,name string,age int) row format delimited fields terminated by ' '")
-
spark.sql("load data local inpath 'file:///E:/data/person.txt' into table person") //本地文件
-
spark.sql("show tables").show()
-
spark.sql("select * from person").show()
-
}
-
}
本地文件
打印
-
+---------+
-
|namespace|
-
+---------+
-
| db|
-
| default|
-
+---------+
-
+--------+-------------+-----------+
-
|database| tableName|isTemporary|
-
+--------+-------------+-----------+
-
| default| cat| false|
-
| default| cat4| false|
-
| default| cat_group| false|
-
| default| cat_group1| false|
-
| default| cat_group2| false|
-
| default| goods| false|
-
| default|position_hive| false|
-
| default| tuomasi| false|
-
+--------+-------------+-----------+
-
+--------+-------------+-----------+
-
|database| tableName|isTemporary|
-
+--------+-------------+-----------+
-
| default| cat| false|
-
| default| cat4| false|
-
| default| cat_group| false|
-
| default| cat_group1| false|
-
| default| cat_group2| false|
-
| default| goods| false|
-
| default| person| false|
-
| default|position_hive| false|
-
| default| tuomasi| false|
-
+--------+-------------+-----------+
-
+---+--------+---+
-
| id| name|age|
-
+---+--------+---+
-
| 1|zhangsan| 20|
-
| 2| lisi| 29|
-
| 3| wangwu| 25|
-
| 4| zhaoliu| 30|
-
| 5| tianqi| 35|
-
| 6| kobe| 40|
-
+---+--------+---+
HDFS查看
Hive数据仓库查看
-
hive> show tables;
-
OK
-
cat
-
cat4
-
cat_group
-
cat_group1
-
cat_group2
-
goods
-
person
-
position_hive
-
tuomasi
-
Time taken: 0.128 seconds, Fetched: 9 row(s)
-
hive> select * from person;
-
OK
-
1 zhangsan 20
-
2 lisi 29
-
3 wangwu 25
-
4 zhaoliu 30
-
5 tianqi 35
-
6 kobe 40
-
Time taken: 2.889 seconds, Fetched: 6 row(s)
文章来源: tuomasi.blog.csdn.net，作者：托马斯-酷涛，版权归原作者所有，如需转载，请联系作者。
原文链接：tuomasi.blog.csdn.net/article/details/124074464
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）