建议使用以下浏览器，以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称，即可参与社区互动！

确定
我再想想
✖
选择版块
确定取消
✖
发帖
回复
点赞
收藏
返回列表
上一篇
下一篇
云社区 论坛 全部版块 EI企业智能数仓GaussDB(DWS) 帖子详情
093948tij5o7fzwk4kb4q9.png 华为云AI论文精读会2021第十一期 微认证推荐-ModelArts实现零售商客户分群
直达楼层
全部回复
正序浏览
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复
确定

彩虹上的水瓶座

发帖: 75粉丝: 42

发消息 + 关注

发表于2020年07月30日 20:33:59 5796 10
直达本楼层的链接
楼主 显示全部楼层
[热门活动] 【直播已结束，可以回访啦~~】五节课掌握华为云数仓硬核技能第四期--“绿波带”，华为云数仓给您开绿灯，论坛互动依然有奖哦！！！

直播回访链接：http://live.vhall.com/394286839

资料在附件中。

您是否有这样的困惑：

  • 业务上线前调测正常，性能也达标，但上线用户体验达不到预期，偶尔还会卡顿；

  • 业务中增加调试日志，发现有的语句执行比较耗时，单独执行性能没问题，该如何分析；

  • 业务高峰，大量访问者导致业务响应缓慢，如何控制访问量，如何保证VIP客户有更佳体验；

  • 业务升级经常发现有的SQL语句执行慢，并影响到其他业务执行，如何尽快识别这些语句并屏蔽影响；

出现以上问题，大概率是系统资源出现了瓶颈，什么是系统资源？大概分为硬件资源：CPU、内存、IO、网络、磁盘空间；软件资源：线程、队列、锁资源、连接资源、文件资源、缓存页资源 … 对于大多数开发者，尤其是资深开发者，架构师，DBA来说，这些字眼是不是特别熟悉？那么如何合理利用资源，制定差异化策略，提升系统性能（KPI），本次直播将由华为资深内核研发专家强哥为大家深入浅出讲解，如何进行资源规划，并善用资源管理工具。

当然看了直播后想要了解GaussDB(DWS)的，可以参考以下两个链接做简短了解。

初识数据仓库服务

解密华为数据仓库产品GaussDB for DWS（十问十答）

初步了解之后，话不多说，来看直播大纲

五节课课程大纲

01   疫情一码通背后的超大数据仓库设计     --已结束

02   大厂面试必备：PB级数据仓库性能调优  --已结束

03   数仓安全灵魂三问（2020/07/21）--已结束

04   数仓资源管控，让资源使用最大化（2020/08/04）  --本次直播也可以说是性能调优的一个延续，是关于资源调优层面的。

05   海量数据如何实现一键式迁移(2020/08/25)


第三节课

“绿波带”，华为云数仓给您开绿灯 活动时间：2020年8月4日 20:00~21:00

参与方式：

1、微信添加小助手“speakerHTJ”加入GaussDB DWS微信技术讨论群，直播二维码将提前发到群内

2、直播链接：http://live.vhall.com/394286839

DWS直播宣传_有二维码.png           


直播福利，参与华为云社区互动，华为定制T-shirt，棒球帽，华为三脚架自拍杆，京东卡多重好礼等你拿


【参与互动】（可参考以下内容任选一个或多个进行回帖）

1.留下您对本次直播的疑问，不限技术，我们都将一一作答

2.发表直播观后感

3. 回复测试环境验证任意截图 （验证代码及造数脚本请参考附件，基础操作帮助文档及视频请参考华为云数据仓库知识地图）


活动时间2020年8月3日-8月10日

【奖励及规则】

1.优秀博文奖

获奖人数：1名

奖励：京东购物卡500元

评奖规则：1、与直播主题相关 2、有一定技术干货  3、将博文链接作为回帖，活动结束后，会有工作人员从论坛（碎片空间或者精品大作）或者博客中，评选出优秀博文。

image.png


2.优秀评论奖

获奖人数：3名

奖励：京东购物卡200元

评奖规则：活动结束后从回帖留言用户中评选出3名优秀建议奖（包含参与互动话题）。

image.png


3.最佳人气奖

参与方式：参与回帖，并分享邀请小伙伴给自己的回帖进行评论+点赞

奖励：

获奖总人数：15名

评奖规则：活动结束后按照评论+点赞数进行排序（根据奖品及人数顺排，每组5个）。

评论+回复>=20，奖励大狮护体双肩包

评论+回复>=10，华为定制T-shirt

评论+回复>=5，棒球帽

定制T-shirt.png大狮双肩包.png棒球帽.png


4. 最佳体验奖

获奖人数：3名

奖励：1000测试卷+华为三脚架带蓝牙自拍杆（颜色随机）

评奖规则：活动结束后，回帖申请GaussDB DWS 500元测试券，并进行初步体验，完成所布置的题目，选择五名积极参与并提问的小伙伴获得奖励

提醒：测试券使用过程中，如果金额使用完毕，集群未删除会产生欠费，强烈建立费用快结束的时候删除集群。

华为三脚架自拍杆.PNG



【注意事项】

1.获奖结果将在活动结束后5个工作日内进行公示，所有奖品将在活动结束后十五个工作日内发放。

2.为防止有恶意发帖行为，同一ID回帖不得超过5条，若超过将取消获奖资格。

3.每个ID只能参与一次评选，同一ID不可重复中奖。

4.本次回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html


体验环境使用步骤：

1、进去GaussDB DWS产品主页

2、点击“进入控制台”

3、参考“数据仓库服务_快速入门” ，第三个视频手把手教你如何创建数仓及gsql客户端连接--当然得先申请测试劵

4、更多体验可以参考“华为云数据仓库知识地图”，由浅入深，带您玩转DWS


【学习福利】

想要利用坐地铁，排队等零碎时间来学习专业数据库知识吗？马上扫描华为云AI微信公众号“华为云AI”，带给你不一样的资讯，除了华为云数仓

及人工智能相关技术类精品文章外，也可以手机端登陆论坛提问并查看技术分享。

华为云AI.PNG



GaussDB(DWS)产品主页：https://www.huaweicloud.com/product/dws.html   

  GaussDB(DWS)产品主页二维码

产品主页二维码.png


分割线.png

 【中奖结果公布】

截止到8月10日24点，本次论坛互动活动已结束，感谢小伙伴们的积极参与！

话题互动幸运奖：经过评选，获得优秀评论奖，话题互动幸运奖和最佳人气奖的小伙伴名单如下，请小伙伴们在7月20日前到下面链接反馈收货信息，逾期礼品作废哦^_^  

https://bbs.huaweicloud.com/forum/thread-71548-1-1.html

奖  项

 楼  层

     昵  称

   奖  品

优秀评论奖

ad123445

京东卡200元
优秀评论奖

Flower_Ma

京东卡200元



华云数据仓库GaussDB DWS_资源负载管理.pptx 2.39 MB，下载次数：13

举报
分享

分享文章到朋友圈

分享文章到微博
复制链接到剪贴板

采纳成功

您已采纳当前回复为最佳回复
确定

玩DB得天下

发帖: 0粉丝: 0

发消息 + 关注

发表于2020年07月31日 09:32:43
直达本楼层的链接
沙发 显示全部楼层

第四节终于要来了，期待已久啊

评论
彩虹上的水瓶座 2020-8-1 14:31 评论

你是对资源负载管理比较感兴趣吗？可以听一下，使我们华为19级专家讲的哦， 把问题准备好，也请为我们宣传一下，让更多的人看到

... 查看全部
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

Ivan_2020

发帖: 70粉丝: 10

发消息 + 关注

发表于2020年08月04日 11:59:59
直达本楼层的链接
板凳 显示全部楼层

期待..
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

听风吹雪

发帖: 19粉丝: 2

发消息 + 关注

发表于2020年08月04日 20:03:11
直达本楼层的链接
地板 显示全部楼层

赞赞赞！
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

孙小北

发帖: 8粉丝: 21

发消息 + 关注

发表于2020年08月04日 20:08:51
直达本楼层的链接
5# 显示全部楼层
直播打卡，资源、队列、时间片、作业、调度。每一个词都需要额外补充知识，干货满满。 ![2.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202008/04/200841k1tywldinyfnyaps.png) ![4.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202008/04/202542kjjdimjcmdhuajme.png) ![6.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202008/04/202551it7jbo03hkkiljyj.png)
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

问道

发帖: 2粉丝: 2

发消息 + 关注

发表于2020年08月04日 20:08:56
直达本楼层的链接
6# 显示全部楼层

开讲了，先来个基础知识

1596542808(1).png
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

suncker

发帖: 0粉丝: 1

发消息 + 关注

发表于2020年08月04日 22:05:17
直达本楼层的链接
7# 显示全部楼层

又是干货满满的一次直播学习，支持GaussDB DWS！
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

xuxugod

发帖: 0粉丝: 0

发消息 + 关注

发表于2020年08月05日 11:08:34
直达本楼层的链接
8# 显示全部楼层

求个ppt

评论
彩虹上的水瓶座 2020-8-11 11:27 评论

PPT已经在本次活动页面的附件中了，请下载查阅

... 查看全部
点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

Flower_Ma

发帖: 4粉丝: 2

发消息 + 关注

发表于2020年08月10日 07:59:44
直达本楼层的链接
9# 显示全部楼层

又是干货满满的一次学习啊，这次学习围绕以下四个方面展开：

image.png

上面提到了“绿波带”，那么什么是绿波带呢？

绿波带是指计算车辆通过某一路段的时间，再对各个路口的红绿灯信号进行协调，车辆在通过时能连续获得一路绿灯的技术。

有灭有感觉到绿波带技术让开车人很爽，华为云数仓能否也能带给使用者这种感觉？

现实情况是对于一个数据仓库，随着业务越来越复杂，用户越来越多，系统负载也越来越大，系统可能会逐渐变慢。就好像手机用时间长了会变慢一样。

那么又有一个问题来了：手机用时间长了变慢了会怎么办？ 

回答：买新手机，换更好的软件和硬件。

对于数据仓库虽然也可以这么任性，系统慢了，可以扩容和迁移，用更多的节点和更好的硬件，但会大大增加企业成本。

是否有其他办法？ 就是合理配置负载资源，进行资源负载管理。相同硬件条件下，通过合理的资源负载管理来使业务整体性能更优。使高优先级的作业

能尽快执行，这就是我们今天学习的华为云数仓的绿波带。


而其中很重要的一个技术就是资源负载管理，在如下场景中可以大显身手的哦！

场景如下：

优先级：公司上线的金融服务平台非常受欢迎，用户越来越多，如何保证大客户总是能够更快获得分析信息；

流控：电商分析平台在购物节期间访问量很高，如何避免过高的访问量导致平台崩溃，无法提供服务；

 小查询优先：公司业务中有一些作业是执行时间比较长、CPU、内存消耗很大；还有一些作业执行时间比较短，比如一些系统状态查询、巡检作业，大

查询有可能会阻塞这些小查询；

业务隔离：公司多个部门都需要访问集团公共数据，如何避免某个部门在进行大数据查询时不会影响其他部门的访问；


在正式介绍以前，先来认识一下上面操作的基础，也就是资源，资源分为硬件资源和软件资源：

硬件资源：CPU、内存、IO、网络、磁盘空间

软件资源：线程、队列、锁资源、连接资源、文件资源、缓存页资源 …


而我们的目的就是对上述资源进行高效管理，实现最佳性能。那么为什么要进行资源负载管理，怎么管理？

因为资源是有限的，需要合理规划利用。

通常会采用资源池化。

资源分配服务化（差异化服务）。

2.png

对应用开发者来说，华为云数仓是个黑盒，提供的是SQL接口，应用开发者一般不关心怎么使用资源，即使想关心也无能为力。

对华为云数仓，并不太了解应用中各个作业的SLA要求，对应用开发者的请求都采取一视同仁的策略。尽量用尽可能多的资源尽快完成业务请求。

数仓和应用开发者在作业执行的策略上缺乏沟通。

资源负载管理就为应用开发者和数仓之间提供了沟通的方法。

4.png

资源池就是一个资源实体

解释资源池和用户的关系，资源池和用户是一对多关系。可以将多个用户关联到一个资源池上。

超管用户例外

6.png

资源队列内存限额和CPU配额不同。仍然以餐厅提供餐饮服务为例。餐厅有10张桌子，客户1预定了3张桌子，就餐过程中最多只能使用3张桌子。就餐高峰期间，即使客户还没有来，桌子也无法给其他客户使用。


同时，也学习到了很多炫酷的技术：

大规模集群通信技术：在物理节点增加的情况下，通过技术手段保证网络通讯的高效性，避免因为节点增多而导致的链接风暴问题。这也是友商Greenplum等产品存在物理扩展上限到256左右的节点无法继续扩容的技术约束。

全并行计算：在节点并行的基础上，进一步到利用SMP进行算子级的任务并行，最后是SIMD指令级向量计算的并行处理技术。充分利用硬件CPU多核配置，以及通过指令集加速向量计算。

并行Bulk load：数据加载过程直接和DN数据节点进行交互，提升批量数据入库整体效率。

标准SQL支持，定向数据库语法兼容：最大限度地降低存量数据库项目的迁移复杂度。

融合大数据：与大数据平台协同，形成逻辑上的一个整体数据仓库平台，同时管理结构化数据，半结构化数据和非结构化数据，提供对异构数据访问的便利性。

多租户：对集群资源使用的管理控制，能够保证数据安全性的前提下，提升整体集群的资源利用和负载管理。

在线扩容，在线升级以及资源按需弹性伸缩都是保证平台在不停机，不停服务的前提下，进行升级和扩容的操作，最大限度的保证系统服务的可用性。


总之，这次学习干货满满，感谢老师！
点赞1 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
确定

ad123445

发帖: 21粉丝: 7

发消息 + 关注

发表于2020年08月10日 23:20:05
直达本楼层的链接
10# 显示全部楼层

本次直播主要讲解了华为云数仓的一些系统资源管控的技术以及华为云数仓所营造的“绿波带”。


首先，在以下一些场景中，华为云数仓通过资源负载管理可以来满足这些需求。

  • 优先级：公司上线的金融服务平台非常受欢迎，用户越来越多，如何保证大客户总是能够更快获得分析信息；

  • 流控：电商分析平台在购物节期间访问量很高，如何避免过高的访问量导致平台崩溃，无法提供服务；

  • 小查询优先：公司业务中有一些作业是执行时间比较长、CPU、内存消耗很大；还有一些作业执行时间比较短，比如一些系统状态查询、巡检作业，大查询有可能会阻塞这些小查询；

  • 业务隔离：公司多个部门都需要访问集团公共数据，如何避免某个部门在进行大数据查询时不会影响其他部门的访问；

对于资源，包括硬件资源：CPU，内存、10、网络、磁盘空间，以及软件资源：线程、队列、锁资源、连接资源、文件资源、缓存页资源，而资源管控是这些资源能够协调配合，带来更高性能。将不同资源配置道不同实体，达到资源利用最大化。

image.png


资源负载管理基于数仓不同而不同，而华为云数仓也是有独特的架构，通过中心化CN-CCN作为集中化的实体来将资源收集并且进行分配，便于了解整体的资源利用情况从而来进行合理分配。而资源队列可以为不同资源要求的作业定义资源队列，每个资源队列会创建一个资源池资源池包含了一系列资源使用规则，包括：并发作业数目、CPU配额、内存使用限额、IOPS限制、磁盘空间限额、异常作业规则等。

每个资源队列实际上就是一个资源池，可以定义并发作业数目，CPU配额，内存使用限额，磁盘空间限额等。资源队列可以用于实现作业优先级管理，优先级高的作业可以分配更多的资源每个资源队列还可以支持短查询加速，即为短查询开辟一个独立的队列以及短查询队列的并发度。

image.png



GaussDB（DWS）用CPU配额来为用户作业分配CPU资源。用户作业根据用户确定所属于的资源池，并享有相应的CPU配额。CPU配额是产生CPU资源竞争时的时间片优先分配策略，在CPU资源充足情况下，用户作业可以占用更多CPU资源。


华为云数仓采用了多层级的动态内存管理，不同层级有不同的生命周期，确保内存及时回收，避免泄漏。在进程内存管理中，监测整个进程的内存上限，防止单个进程物理内存使用超限。提供了进程级内存视图和各层