GaussDB for DWS 负载管理核心技术解密一：全景图及解决的场景

DWS工作负载管理概述

        在实际的业务场景中，使用DWS的客户可能会同时使用多个用户同时运行查询作业，这其中有些查询可能会非常复杂，此时如果对数据库资源未做控制，这些复杂作业的查询容易占用大部分的集群资源并长时间运行，从而影响其他查询的性能，使其不得不等待哪些复杂作业执行完成。

        其实在上述场景中，我们完全可以对这些执行复杂作业的用户进行分组，对这些用户进行合理的资源限制，使在可接受的执行时间范围内使用一定的资源执行这些复杂查询，同时划分出部分资源给那些查询消耗没那么大的用户，这样在部分用户执行复杂作业的同时，另一部分用户的作业也不会受到太大影响。

        这就是DWS工作负载管理多队列资源管控的思想模型，客户可以根据自己的业务特点预先创建好多个工作负载队列，对每个队列配置好可以使用的资源上限，然后为每种业务创建好数据库用户并添加到对应的队列中，这样每次这些不同的用户在提交作业的时候都会被分配到对应的队列中，只能使用该队列中拥有的资源执行作业，队列资源不足时，该查询将在该队列中排队等待执行，各个队列之间资源个各自隔离，各不冲突，这样当一些数据库用户在自己队列中执行一些非常耗时的查询作业时，其他用户在各自的队列同时在执行一些简单或者有自己业务特点的作业，这些作业互不干扰。

        工作负载管理功能以队列为资源承载点，目前可以配置队列的CPU时间片占比、内存占比、并发（复杂查询并发数）以及磁盘空间大小（永久表空间）等资源。

        CPU资源配比为队列可使用的最小时间片占比，当某个队列A的CPU负载超限并且有某个队列B恰好空闲时，队列A可以暂时使用空闲队列B的CPU资源，但是一旦空闲队列B开始对CPU资源有诉求时，将会收回“出借”给队列A的CPU资源。这种CPU控制方式我们称之为CPU配额控制，即可以保证至少有配比的资源可用。

        DWS在创建集群时会根据集群中的节点规格为每个DN计算好可用的内存大小max_process_memory，DN在启动时会一次性申请max_process_memory大小的内存，DWS会在此基础上，根据每个队列的内存配比，对作业使用的内存进行限制。队列中所有数据库用户共享队列内存，并且执行作业可消耗的内存资源不超过队列的内存配比。

        DWS目前只支持永久表空间的存储资源限制，队列中所有数据库用户共享队列的存储资源，并且可使用的永久表空间大小不超过队列配置的存储资源大小。

        队列的并发数指的是队列内多有数据库用户可同时执行的作业数，作业数达到并发数限制之后，再提交的作业会在队列中排队等待执行。

DWS负载管理页面介绍

页面概览

        DWS负载管理页面主要包括工作负载管理配置区域、工作负载队列列表区域以及工作负载队列详情展示区域，工作负载管理配置用来管理工作负载功能的全局配置，包括工作负载开关和全局最大并发数的配置（每个CN的最大并发数）；工作负载队列列表区域显示所有已创建的工作队列，可以在这里添加队列；队列详情区域包括队列的短查询配置、资源配置、异常规则配置以及队列中数据库用户的管理。

添加队列

        添加一个工作负载队列并配置相应的资源

修改队列

        修改一个队列资源配比

向队列中添加数据库用户

        向队列中添加数据库用户，以限制该用户执行作业时消耗的资源占比

从队列中移除数据库用户

        从队列中将已添加的某个数据库用户移除，每个数据库用户只能添加到一个队列中，从队列中移除之后可再添加至其他队列中

        作为工作负载管理系列的开端，以上就是DWS工作负载管理的基本使用场景介绍以及基础功能概览，后续我们会陆续推出对CPU、内存、并发、磁盘等单项资源管控机制深度解密的系列博文，敬请关注。