第四节终于要来了，期待已久啊

期待..

赞赞赞！

直播打卡，资源、队列、时间片、作业、调度。每一个词都需要额外补充知识，干货满满。   

开讲了，先来个基础知识

又是干货满满的一次直播学习，支持GaussDB DWS！

求个ppt

又是干货满满的一次学习啊，这次学习围绕以下四个方面展开：

上面提到了“绿波带”，那么什么是绿波带呢？

绿波带是指计算车辆通过某一路段的时间，再对各个路口的红绿灯信号进行协调，车辆在通过时能连续获得一路绿灯的技术。

有灭有感觉到绿波带技术让开车人很爽，华为云数仓能否也能带给使用者这种感觉？

现实情况是对于一个数据仓库，随着业务越来越复杂，用户越来越多，系统负载也越来越大，系统可能会逐渐变慢。就好像手机用时间长了会变慢一样。

那么又有一个问题来了：手机用时间长了变慢了会怎么办？ 

回答：买新手机，换更好的软件和硬件。

对于数据仓库虽然也可以这么任性，系统慢了，可以扩容和迁移，用更多的节点和更好的硬件，但会大大增加企业成本。

是否有其他办法？ 就是合理配置负载资源，进行资源负载管理。相同硬件条件下，通过合理的资源负载管理来使业务整体性能更优。使高优先级的作业

能尽快执行，这就是我们今天学习的华为云数仓的绿波带。

而其中很重要的一个技术就是资源负载管理，在如下场景中可以大显身手的哦！

场景如下：

优先级：公司上线的金融服务平台非常受欢迎，用户越来越多，如何保证大客户总是能够更快获得分析信息；

流控：电商分析平台在购物节期间访问量很高，如何避免过高的访问量导致平台崩溃，无法提供服务；

 小查询优先：公司业务中有一些作业是执行时间比较长、CPU、内存消耗很大；还有一些作业执行时间比较短，比如一些系统状态查询、巡检作业，大

查询有可能会阻塞这些小查询；

业务隔离：公司多个部门都需要访问集团公共数据，如何避免某个部门在进行大数据查询时不会影响其他部门的访问；

在正式介绍以前，先来认识一下上面操作的基础，也就是资源，资源分为硬件资源和软件资源：

硬件资源：CPU、内存、IO、网络、磁盘空间

软件资源：线程、队列、锁资源、连接资源、文件资源、缓存页资源 …

而我们的目的就是对上述资源进行高效管理，实现最佳性能。那么为什么要进行资源负载管理，怎么管理？

因为资源是有限的，需要合理规划利用。

通常会采用资源池化。

资源分配服务化（差异化服务）。

对应用开发者来说，华为云数仓是个黑盒，提供的是SQL接口，应用开发者一般不关心怎么使用资源，即使想关心也无能为力。

对华为云数仓，并不太了解应用中各个作业的SLA要求，对应用开发者的请求都采取一视同仁的策略。尽量用尽可能多的资源尽快完成业务请求。

数仓和应用开发者在作业执行的策略上缺乏沟通。

资源负载管理就为应用开发者和数仓之间提供了沟通的方法。

资源池就是一个资源实体

解释资源池和用户的关系，资源池和用户是一对多关系。可以将多个用户关联到一个资源池上。

超管用户例外

资源队列内存限额和CPU配额不同。仍然以餐厅提供餐饮服务为例。餐厅有10张桌子，客户1预定了3张桌子，就餐过程中最多只能使用3张桌子。就餐高峰期间，即使客户还没有来，桌子也无法给其他客户使用。

同时，也学习到了很多炫酷的技术：

大规模集群通信技术：在物理节点增加的情况下，通过技术手段保证网络通讯的高效性，避免因为节点增多而导致的链接风暴问题。这也是友商Greenplum等产品存在物理扩展上限到256左右的节点无法继续扩容的技术约束。

全并行计算：在节点并行的基础上，进一步到利用SMP进行算子级的任务并行，最后是SIMD指令级向量计算的并行处理技术。充分利用硬件CPU多核配置，以及通过指令集加速向量计算。

并行Bulk load：数据加载过程直接和DN数据节点进行交互，提升批量数据入库整体效率。

标准SQL支持，定向数据库语法兼容：最大限度地降低存量数据库项目的迁移复杂度。

融合大数据：与大数据平台协同，形成逻辑上的一个整体数据仓库平台，同时管理结构化数据，半结构化数据和非结构化数据，提供对异构数据访问的便利性。

多租户：对集群资源使用的管理控制，能够保证数据安全性的前提下，提升整体集群的资源利用和负载管理。

在线扩容，在线升级以及资源按需弹性伸缩都是保证平台在不停机，不停服务的前提下，进行升级和扩容的操作，最大限度的保证系统服务的可用性。

总之，这次学习干货满满，感谢老师！

本次直播主要讲解了华为云数仓的一些系统资源管控的技术以及华为云数仓所营造的“绿波带”。

首先，在以下一些场景中，华为云数仓通过资源负载管理可以来满足这些需求。

• 优先级：公司上线的金融服务平台非常受欢迎，用户越来越多，如何保证大客户总是能够更快获得分析信息；

• 流控：电商分析平台在购物节期间访问量很高，如何避免过高的访问量导致平台崩溃，无法提供服务；

• 小查询优先：公司业务中有一些作业是执行时间比较长、CPU、内存消耗很大；还有一些作业执行时间比较短，比如一些系统状态查询、巡检作业，大查询有可能会阻塞这些小查询；

• 业务隔离：公司多个部门都需要访问集团公共数据，如何避免某个部门在进行大数据查询时不会影响其他部门的访问；

对于资源，包括硬件资源：CPU，内存、10、网络、磁盘空间，以及软件资源：线程、队列、锁资源、连接资源、文件资源、缓存页资源，而资源管控是这些资源能够协调配合，带来更高性能。将不同资源配置道不同实体，达到资源利用最大化。

资源负载管理基于数仓不同而不同，而华为云数仓也是有独特的架构，通过中心化CN-CCN作为集中化的实体来将资源收集并且进行分配，便于了解整体的资源利用情况从而来进行合理分配。而资源队列可以为不同资源要求的作业定义资源队列，每个资源队列会创建一个资源池资源池包含了一系列资源使用规则，包括：并发作业数目、CPU配额、内存使用限额、IOPS限制、磁盘空间限额、异常作业规则等。

每个资源队列实际上就是一个资源池，可以定义并发作业数目，CPU配额，内存使用限额，磁盘空间限额等。资源队列可以用于实现作业优先级管理，优先级高的作业可以分配更多的资源每个资源队列还可以支持短查询加速，即为短查询开辟一个独立的队列以及短查询队列的并发度。

GaussDB（DWS）用CPU配额来为用户作业分配CPU资源。用户作业根据用户确定所属于的资源池，并享有相应的CPU配额。CPU配额是产生CPU资源竞争时的时间片优先分配策略，在CPU资源充足情况下，用户作业可以占用更多CPU资源。

华为云数仓采用了多层级的动态内存管理，不同层级有不同的生命周期，确保内存及时回收，避免泄漏。在进程内存管理中，监测整个进程的内存上限，防止单个进程物理内存使用超限。提供了进程级内存视图和各层级内存视图，帮助开发人员分析语句执行过程中内存消耗情况。资源队列提供了内存配置参数，方便运维人员来调整内存配比。

当执行语句时，执行时间超出预期，这样就是异常作业，报错CPU占用异常等，也是属于异常作业，通过一定的阈值来对一些资源进行监控，比如：

通过TopSQL视图可以查询哪些信息：历史语句的开始时间，结束时间语句执行过程中内存峰值、平均值、倾斜率语句执行过程中下盘数据量峰值、平均值、倾斜率，执行时间峰值、平均值、倾斜率执行CPU峰值、平均值、倾斜率执行文件读写峰值、平均值、倾斜率执行语句和执行计划。异常作业识别是对作业资源监控数据的分析和判断，异常作业处理将以优化后的资源监控为基础，在资源监控的基础上进行异常作业的识别和处理。支持的异常规则包括：排队时间、运行时间、CPU占用时间、CPU倾斜率等。

资源配置策略

通过直播，了解了华为云数仓在资源管控方面的卓越能力，以及如何进行资源管控已以达到资源利用最大化，从而带来更高的性能，防止出现性能瓶颈。干货满满，收获很多

学习了GaussDB，以下主要是资源管理架构方面的笔记。GaussDB可以为不同资源要求的作业定义资源队列，每个资源队列会创建一个资源池，用CPU配额来为用户作业分配CPU资源，华为云数仓采用了多层级的动态内存管理，不同层级有不同的生命周期，确保内存及时回收，避免泄漏。每个资源队列实际上就是一个资源池，用于实现作业优先级管理，支持短查询加速。

GaussDB的整体架构：

GaussDB的资源管理架构：

CPU配额：

节点内存管理：