为什么有些项目又用Hive sql又用Spark sql

关于sparksql

Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块；
提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象；
是一个分布式的 SQL 引擎。

关于hive

数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集；

结构可以映射到已经存储的数据上；

用户连接 Hive 可以使用命令行工具和 JDBC 驱动。

两者的区别

都支持ThriftServer服务，为JDBC提供解决方案，区别如下：

Spark SQL

• 是Spark的一个库文件；
• Spark SQL 元数据可有可无；
• Spark SQL 中 schema 是自动推断的；
• 支持标准 SQL 语句，也支持 HQL 语句等（可以用普通话、方言来对比理解）；
• 从开发角度来讲，即支持SQL方式开发，也支持HQL开发，还支持函数式编程（DSL）实现SQL语句。

Hive

是一个框架；
Hive中必须有元数据，一般由 MySql 管理，必须开启 metastore 服务；
Hive 中在建表时必须明确使用 DDL 声明 schema；
只支持 HQL 语句。

Hive：处理海量数据，比如一个月、一个季度、一年的数据量，依然可以处理，虽然很慢；
Spark SQL：这种情况下 Spark SQL 不支持，无法处理；最好TB级别的数据用hive。
所以在企业中，Hive 和 Spark SQL 能够共存，互为弥补。

文章来源: www.jianshu.com，作者：百忍成金的虚竹，版权归原作者所有，如需转载，请联系作者。

原文链接：www.jianshu.com/p/602e4fd58d51