【GaussTech第2期】GaussDB SQL查询语句执行过程解析

SQL于关系型数据库而言，重要性不言而喻。就像一个乐团的指挥，指导着作品的正确演绎和节奏的和谐统一。华为云GaussDB作为新一代关系型分布式数据库，具备卓越的技术性能和行业竞争力。很多人对GaussDB的关键技术很好奇，纷纷在论坛帖上留言：

今天我们就从GaussDB SQL引擎入手，了解一下GaussDB SQL查询语句的执行过程，包括GaussDB SQL引擎原理和关键技术点。

如果您在了解的过程中有任何疑问或感兴趣的关键技术点，可参与【云咖问答】揭开GaussDB SQL引擎的神秘面纱，互动交流赢好礼活动，进行留言互动，专家会一对一进行答疑哦，更有机会获得提问好礼激励。

↓↓↓↓ 以下是正文

首先，简单介绍一下GaussDB的系统结构，再解析GaussDB SQL查询语句的执行过程。

图(1) 集中式

在GaussDB SQL语句执行过程中，会涉及以下几个关键角色：

其中，DN主要承担GaussDB SQL语句的执行，其逻辑架构如下图所示：

图(3) GaussDB逻辑架构

GaussDB包括两个主要引擎：SQL引擎 (SQL Engine) 和存储引擎 (Storage Engine) 。SQL引擎有时也被称为查询处理器，它的主要功能是SQL 解析、查询优化和查询执行。SQL解析对输入的 SQL 语句进行词法解析、语法解析、语义解析，从而生成查询树。查询树经过规则优化（RBO）和代价优化（CBO）之后，产生执行计划。执行器基于该执行计划对相关数据进行提取、运算、更新、删除等操作，以达到用户查询想要实现的结果。

存储引擎负责管理所有数据的I/O，它包含数据读写处理（处理行、索引、页、分配和行版本的I/O请求）、数据缓冲管理（Buffer Pool）和事务管理器。其中，事务管理又涉及到保持ACID属性的锁机制（Lock）和事务日志管理（XLOG）。

在SQL引擎和存储引擎之间是AM（Access Method) 层。AM对存储层做了封装，以支持多种存储引擎（Astore，Ustore，etc.）。SQL层不直接调用存储层，而是通过AM层，AM层会根据不同的存储引擎调用不同的执行体。

从GaussDB逻辑架构图中可以看出，GaussDB架构设计遵循现代软件系统抽象化和分层解耦的设计原则，包括：统一事务机制、统一日志系统、统一并发控制系统、统一元信息系统、统一缓存管理系统。因此，GaussDB技术架构具备以下主要特点：

一条SQL查询（SELECT）语句的执行过程，如下所示：

图(4) 查询语句的执行过程

从上图可以看出，一条SQL语句需要经过SQL解析生成查询树、查询优化生成执行计划，然后将执行计划转交给查询执行器做物理算子的执行操作。

SQL是介于关系演算和关系代数之间的一种描述性语言，它吸取了关系代数中一部分逻辑算子的描述，而放弃了关系代数中 “过程化” 的部分。SQL解析主要的作用就是将一个SQL语句编译成为一个由关系算子组成的查询树，通常包含词法解析、语法解析、语义解析几个子模块。

规则优化（RBO）则是在查询树的基础上进行等价的关系代数变换，把一条SQL语句转换为更高效的等价SQL，并在数据库优化器中扮演关键角色。尤其在复杂查询中，它能够在性能上带来数量级的提升。

查询执行是根据执行计划来执行SQL查询语句。底层存储方式的选择合理性，将影响查询执行效率。

优化器是提升查询效率非常重要的一个手段，它包括规则优化和查询优化两部分。

规则优化是在查询树的基础上进行等价的关系代数变换，由于它是建立在关系代数基础之上的优化形式，也可称为代数优化。虽然两个关系代数式获得的结果完全相同，但是它们的执行代价却可能有很大的差异，这就构成了规则优化的基础。

规则优化遵循两个基本原则：

（1）等价性：原语句和重写后的语句输出结果相同。

（2）高效性：重写后的语句比原语句执行时间短，且资源使用更高效。

GaussDB实现了一些关键的规则优化技术，例如：

在服务大量的客户过程中，GaussDB对业务 SQL使用模式进行抽象，并实现了一些高级重写规则。在今后的栏目中，我们会对GaussDB的规则优化技术做详细介绍。

查询优化

查询优化是根据“规则优化”的输出，结合数据库内部统计信息来规划SQL语句具体的执行方式，也就是执行计划。基于优化方法的不同，查询优化技术可以分为：

（1）CBO（Cost Based Optimization，基于代价的查询优化）：对SQL语句对应的待选执行路径进行代价估算，从待选路径中选择代价最低的执行路径作为最终的执行计划。

（2）ABO（AI Based Optimization，基于机器学习的查询优化）：通过对历史经验的不断学习，ABO将目标场景的模式进行抽象化，形成动态的模型，自适应地针对用户的实际场景进行优化，从而获得最优的执行计划。

GaussDB采用基于CBO的优化技术，并结合ABO在建模效率、估算准确率和自适应性等方向进行积极探索，步骤如下：

图(5) 查询优化步骤

当计划路径处理页面的时候，会产生I/O代价，而当计划路径处理元组的时候（例如,针对元组做表达式计算 ），会产生CPU代价。由于GaussDB是分布式数据库，在CN和DN之间传输数据又会产生通信代价，因此一个计划的总代价可以表示为：

总代价 = IO代价 + CPU代价 + 通信代价

• 路径搜索：通过求解路径最优算法（动态规划、遗传算法）处理连接路径搜索过程，以最小搜索空间找到最优连接路径。

GaussDB采用的是自底向上和随机搜索模式相结合的方式。搜索过程也都是一个从查询树向执行计划转变的过程，例如针对每个表可以有不同的扫描算子，而逻辑连接算子也可以转换为多种不同的物理连接算子。

• 计划生成：将查询执行路径转换成执行计划（PlanTree），提供给执行器执行。

查询优化可能需要花费较长时间，特别是在处理复杂查询时。计划缓存是GaussDB的一个重要功能，它可以缓存查询语句的执行计划，以便在下次执行相同查询时可以直接使用缓存中的执行计划，从而避免重复计算和优化查询性能。

作为原生分布式数据库，分布式查询优化技术尤为重要。

GaussDB分布式架构充分运用每个节点的计算资源，且随着节点规模的扩大其整体性能也呈线性增长。为了实现分布式架构下性能和资源的利用最大化，GaussDB支持四种分布式计划，分别为CN 轻量化计划、FQS（Fast Query Shipping）计划、Stream计划和Remote-Query计划，如下图所示：

图(6) 四种分布式计划

• CN 轻量化: 语句直接下发到单个 DN 上执行（LIGHT_PROXY）

• 执行原理：CN通过socket直接下发语句QPBE报文到对应DN。

• 适用场景：语句可以直接在一个DN执行（单shard语句）。

• FQS（Fast Query Shipping）语句下发: 下发SQL语句的计划

  （REMOTE_FQS_QUERY）

• 执行原理：CN不通过优化器，直接生成RemoteQuery计划，走执行器逻辑下发到DN。各DN根据下推语句生成执行计划并进行执行，执行结果在CN上进行汇总。

• 适用场景：语句可以完全下推到多个DN上执行，且DN之间不需要数据交互。

• STREAM 计划下发：下发SQL计划的分布式计划（STREAM）

• 执行原理：CN根据原语句通过优化器生成带stream算子的执行计划，下发给DN进行执行，DN执行过程中存在数据交互（stream节点）。stream算子在DN之间建立连接进行数据交互，CN汇总执行结果。DN承担了大部分计算。

• 适用场景：执行时CN和DN之间、DN和DN之间有数据交互的复杂语句。

• Remote-Query 计划：下发部分SQL语句的分布式计划 (REMOTE_QUERY)

• 执行原理：CN通过优化器把原语句中的部分语句生成RemoteQuery计划，把每个RemoteQuery下发到DN，DN执行后把中间结果数据发送给CN，CN收集后进行剩余执行计划的执行计算，因此，CN承担了大部分计算。

• 适用场景：不满足前三种生成条件的极少数场景，性能非常差。

在分布式架构下，同一个表的数据会分布到不同的数据节点上，创建表的时候可以选择将数据在每个表上做哈希（Hash）分布或者随机分布。为了正确执行两表连接操作，有可能需要将两个表的数据重新分布，因此，GaussDB的分布式执行计划中增加了三个使数据形成特定分布方式的Stream算子。

图(7) Stream算子

分布式路径生成时，会考虑两表及连接条件上的数据是否处于同一个数据节点，如果不是，则会添加相应的数据分发算子。根据降低数据在DN节点间流动的原则来选择重分布的Stream算子。

正是基于Stream算子的合理运用，GaussDB在分布式架构下处理大规模数据才成为可能。针对Stream算子的优化也是GaussDB 查询优化的重要部分。

图(8) GaussDB分布式查询优化技术

【关键技术点】分布式查询优化：四种分布式执行计划、三个Stream算子。

执行器接收到的指令就是由优化器针对SQL查询语句而产生的执行计划，而执行计划是由一些执行算子（Operator）、表达式等组成，主要是对关系集合进行运算，最终输出用户想要的结果集。下面是几类常见的执行算子：

1. 扫描算子（Scan Plan Node）

扫描节点负责从底层数据来源抽取数据，数据来源可能是来自文件系统，也可能来自网络。一般而言扫描节点都位于执行树的叶子节 点，作为执行的数据输入来源，典型代表SeqScan、IndexScan、 SubQueryScan 。

关键特征：输入数据、叶子节点、表达式过滤

2. 控制算子（Control Plan Node）

控制算子一般不映射代数运算符，是为了执行器完成一些特殊的流程引入的算子，例如Limit、RecursiveUnion、Union。

关键特征：用于控制数据流程

3. 物化算子（Materialize Plan Node）

物化算子一般指算法要求，在做算子逻辑处理的时候，要求把下层 的数据进行缓存处理，因为对于下层算子返回的数据量不可提前预 知，因此需要在算法上考虑数据无法全部放置到内存的情况，例如 Agg、Sort 。

关键特征：需要扫描所有数据之后才返回

4. 连接算子（Join Plan Node） 这类算子是为了应对数据库中最常见的关联操作，根据处理算法和 数据输入源的不同分成MergeJoin, NestLoop Join, HashJoin。

关键特征：关联查询

5. 其它算子

执行器的架构和技术也决定了数据库查询执行的整体运行效率。GaussDB执行引擎充分结合现代硬件技术的特征，采用了诸如向量化引擎、LLVM等多种现代软件技术，进行高效执行。

图(9) GaussDB全并行执行架构

GaussDB 在执行分布式计划过程中，也采用了多种技术来提升查询执行的性能。例如，在执行复杂查询时，会将重执行算子下推到 DN 节点执行，如 AGG 算子等。在下推算子执行时，会考虑数据本地性，尽可能在本地计算，减少数据在网络中的传输开销。

如果您有任何疑问，或者感兴趣的关键技术点，可在【云咖问答】揭开GaussDB SQL引擎的神秘面纱，互动交流，赢好礼活动帖里进行留言，专家会一对一进行答疑哦，还有机会获得提问激励。