DLI特性之跨AZ计算队列

举报
DLI_C 发表于 2020/07/20 09:34:16 2020/07/20
【摘要】 DLI(数据湖探索)作为serverless服务,她的基本计算资源叫队列,是使用DLI服务的基础,用户执行的SQL、SPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU,转换公式为1CU=1Core 4GMem(即1核4G)。具体的基本概念请访问https://www.huaweicloud.com/product/dli.html 跨AZ...

         DLI(数据湖探索)作为serverless服务,她的基本计算资源叫队列,是使用DLI服务的基础,用户执行的SQLSPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU,转换公式为1CU=1Core 4GMem(14G)。具体的基本概念请访问https://www.huaweicloud.com/product/dli.html

         AZ(物理可用区,后续都使用AZ描述)计算队列和单AZ计算队列的区别是,跨AZ队列会在两个不同AZ下建立相同规格的计算集群。例如,用户A购买了512CU的单AZ队列Q1,那么该用户会有一个512CU规格的单集群可以使用,用户A的作业提交到Q1队列的时候都会在该单集群中执行,如果此时该集群所在的AZ因为不可控因素断网了,那么用户AQ1队列将暂时不可用,需要等待AZ恢复;而用户B购买了256CU的跨AZ队列Q2,那么该用户会得到两个256CU规格的集群可以使用,且用户B的作业提交到Q2队列时会根据内置的负载均衡算法提交到两个集群中执行,如果此时有一个集群所在的AZ因为不可控因素断网了,那么用户在此集群中的任务会失败并且重新提交到另外一个AZ下的集群中执行并返回结果,此时用户的业务不会中断,可以保证业务的连续性。

         AZ计算队列还有异常检测并拉起新集群的功能,当上述用户BQ2队列有一个AZ挂掉后,DLI内部的异常检测机制会在一段时间后认定Q2当前只有一个可用集群,那么会触发拉起集群,并且会在新的不同AZ下拉起集群,确保拉起的集群和当前可用集群处于不同AZ下,再次满足跨AZ的特性,而原来异常AZ下的集群会被自动释放,确保跨AZ队列的双活集群存在。

         上面是从使用方式和异常检测等方面来介绍跨AZ计算队列的一些特性,那么提供了这么多新的功能,会不会比原有的单AZ队列贵很多?答案是,不会。我们DLI一直以来的使命就是为用户提供极致性价比、安全可靠且易用的serverless服务。还是以前面用户A和用户B的例子来回答这个问题,例如用户A购买的是单AZ队列512CU,费用是X万一个月,而用户B想在原有计算资源不变的情况下使用跨AZ队列,那么他的购买方式是选择跨AZ队列,并且规格选用256CU即可。因为跨AZ的特性就是会在底层创建两个相同规格的集群,那么实际上用户B的可用集群是256CU * 2=512CU,也就和用户A的单AZ队列资源一致,价格也是一样。总结一句话就是跨AZ队列的实际计算资源是所买资源的两倍,所以对于想从单AZ队列切换到跨AZ队列的用户来说,您只需要购买原有单AZ队列所用CU的一半即可,价格是和原有的队列一样的。所以用户无需多付费用即可体验到跨AZ计算队列带给用户的极致可靠性和性能的提升以及确保了用户在单AZ挂掉的情况下业务不中断等。

         DLI每一项新特性的更新都是为了打造极致性价比、安全可靠且易用的serverless服务,希望用户能够在DLI上使用的放心、舒心。

        


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。