【云小课】EI第52课 GaussDB(DWS)资源管理介绍

举报
Hello EI 发表于 2022/11/29 17:31:40 2022/11/29
【摘要】 数据库的系统资源(CPU资源、内存资源、IO资源和存储资源)是有限的,GaussDB(DWS)在同时运行多种类型的业务(如数据加载、批量分析、实时查询等)时,各类型业务之间可能会竞争资源,从而出现资源性能瓶颈,导致吞吐量下降,造成整体的查询性能低下。GaussDB(DWS)提供了资源管理功能,对系统的资源进行合理的分配,能避免产生资源的不合理占用而导致的系统运行效率下降或者系统运行问题。


云小课.jpg

数据库的系统资源(CPU资源、内存资源、IO资源和存储资源)是有限的,GaussDB(DWS)在同时运行多种类型的业务(如数据加载、批量分析、实时查询等)时,各类型业务之间可能会竞争资源,从而出现资源性能瓶颈,导致吞吐量下降,造成整体的查询性能低下。GaussDB(DWS)提供了资源管理功能,对系统的资源进行合理的分配,能避免产生资源的不合理占用而导致的系统运行效率下降或者系统运行问题。

DWS资源管理概述

实际的业务中,使用DWS时可能会有多个用户同时运行查询作业,其中有些查询可能非常复杂,此时如果对数据库资源未做控制,这些复杂作业的查询容易占用大部分的集群资源并长时间运行,从而影响其他查询的性能,使其不得不等待那些复杂作业执行完成。

复杂查询.jpg

在上述场景中,可以对这些执行复杂作业的用户进行分组并对用户进行合理的资源限制,使在可接受的执行时间范围内使用一定的资源执行这些复杂查询,同时划分出部分资源给那些查询消耗没那么大的用户,这样在部分用户执行复杂作业的同时,另一部分用户的作业也不会受到太大影响。

资源池查询.jpg

这就是DWS资源管理的功能模型,用户可以根据自身业务将资源按需划分成不同的资源池,不同资源池之间资源互相隔离。再通过关联数据库用户将其关联至不同的资源池,用户SQL查询时将根据“用户-资源池”的关联关系将查询转至资源池中执行。通过指定资源池上可并行运行的查询数、单查询内存上限以及资源池可使用的内存和CPU资源,从而实现对不同业务之间的资源限制和隔离,满足数据库混合负载需求,保证执行查询时有充足的系统资源,确保查询性能。

资源管理功能目前可以配置资源池的CPU时间片占比、内存占比、并发(复杂查询并发数)以及磁盘空间大小(永久表空间)等资源。

  • CPU资源配比为资源池可使用的最小时间片占比,当某个资源池A的CPU负载超限并且有某个资源池B恰好空闲时,资源池A可以暂时使用空闲资源池B的CPU资源,但是一旦空闲资源池B开始对CPU资源有诉求时,将会收回“出借”给资源池A的CPU资源。这种CPU控制方式我们称之为CPU配额控制,即可以保证至少有配比的资源可用。
  • DWS在创建集群时会根据集群中的节点规格为每个DN计算好可用的内存大小max_process_memory,DN在启动时会一次性申请max_process_memory大小的内存,DWS会在此基础上,根据每个资源池的内存配比,对作业使用的内存进行限制。资源池中所有数据库用户共享资源池内存,并且执行作业可消耗的内存资源不超过资源池的内存配比。
  • DWS目前只支持永久表空间的存储资源限制,资源池中所有数据库用户共享资源池的存储资源,并且可使用的永久表空间大小不超过资源池配置的存储资源大小。
  • 资源池的并发数指的是资源池内多有数据库用户可同时执行的作业数,作业数达到并发数限制之后,再提交的作业会在资源池中排队等待执行。

DWS资源管理页面介绍

页面概览

DWS资源管理页面主要包括资源管理配置、schema空间管理、资源池和资源管理计划四个模块。

工作负载管理配置.png

添加资源池

添加资源池.png


修改资源池

修改资源池.png

关联数据库用户到资源池

关联数据库用户.png

从资源池中移除数据库用户

移除数据库用户.png

用户还可以根据自己的业务特点预先创建好多个资源管理计划,向计划中添加多个时间阶段,并为每个阶段配置不同的资源配比。当启动计划时,计划就会按照配置在不同的时间段自动切换资源配置。如果用户在不同的时间段运行不同的业务,而这些业务又会占用不同比重的资源,使用资源管理计划功能可以很好的帮助客户实现不同时间段的资源配置自动切换。

与此同时,对于用户所使用的资源,DWS也提供了监控功能,从页面上可以看到当前用户的资源使用情况。

希望通过本文可以加深读者对资源管理功能的认识理解。

1598335632426096875.png了解更多数据仓库服务内容,猛戳此处

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。