Spark SQL运行流程解析

简介

Spark SQL是Spark系统的核心组件，为来自不同数据源、不同格式的数据提供了结构化的视角，让用户可以使用SQL轻松的从数据中获取有价值的信息。DLI服务提供了强大的Spark SQL查询分析能力，并且全面兼容Spark SQL语法。本文将介绍Spark SQL的运行流程，以及过程中的各个重要组成部分。

Spark SQL是什么

在Spark中，Spark SQL并不仅仅是狭隘的SQL，而是作为Spark程序优化、执行的核心组件。流计算、机器学习、图计算、深度学习等应用都可以转化为DataFram/Dataset的API。这些API和通常的SQL一样，共享优化层、执行层，共享访问多种数据源的能力。可以说，Spark SQL是让Spark应用程序拥有高效性、高可容错性和丰富生态的“幕后英雄”。

Spark SQL的核心——Catalyst查询编译器

Spark SQL的核心是一个叫做Catalyst的查询编译器，它将用户程序中的SQL/Dataset/DataFrame经过一系列操作，最终转化为Spark系统中执行的RDD。

Catalyst中的框架如下图所示，它有以下几个重要组成部分：

l  Parser：兼容ANSI SQL 2003标准和HiveQL。将SQL/Dataset/DataFrame转化成一棵未经解析（Unresolved）的树，在Spark中称为逻辑计划（Logical Plan），它是用户程序的一种抽象。

l  Analyzer：利用目录（Catalog）中的信息，对Parser中生成的树进行解析。Analyzer有一系列规则（Rule）组成，每个规则负责某项检查或者转换操作，如解析SQL中的表名、列名，同时判断它们是否存在。通过Analyzer，我们可以得到解析后的逻辑计划。

l  Optimizer：对解析完的逻辑计划进行树结构的优化，以获得更高的执行效率。优化过程也是通过一系列的规则来完成，常用的规则如谓词下推（Predicate Pushdown）、列裁剪（Column Pruning）、连接重排序（Join Reordering）等。此外，Spark SQL中还有一个基于成本的优化器（Cost-based Optmizer），是由DLI内部开发并贡献给开源社区的重要组件。该优化器可以基于数据分布情况，自动生成最优的计划。

l  Planner：将优化后的逻辑计划转化成物理执行计划（Physical Plan）。由一系列的策略（Strategy）组成，每个策略将某个逻辑算子转化成对应的物理执行算子，并最终变成RDD的具体操作。注意在转化过程中，一个逻辑算子可能对应多个物理算子的实现，如join可以实现成SortMergeJoin或者BroadcastHashJoin，这时候需要基于成本模型（Cost Model）来选择较优的算子。上面提到的基于成本的优化器在这个选择过程中也能起到关键的作用。

经过上述的一整个流程，就完成从用户编写的SQL语句（或DataFrame/Dataset），到Spark内部RDD的具体操作逻辑的转化。

整个Catalyst框架拥有良好的可扩展性，开发者可以根据不同的需求，灵活地添加自己的语法、解析规则、优化规则和转换策略。

总结

经过上面的介绍，我们可以看到，Spark SQL是Spark强大的计算和处理能力的使能者。DLI服务在全面兼容Spark能力的同时，还提供了丰富的数据源对接能力。通过DLI服务，用户可以通过SQL轻松访问OBS、DWS、CloudTable、Elasticsearch等多个服务中的数据，在降低使用门槛的同时，避免了数据搬迁，从而实现在一个数据湖中的高效信息探索。