作者小头像 Lv.1
20 成长值

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

数据库
个人勋章
TA还没获得勋章~
成长雷达
20
0
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

数据库

达成规则

发布时间 2021/03/02 17:32:51 最后回复 瘸子那条好腿 2021/05/26 15:19:15 版块 数仓GaussDB(DWS)
7565 7 0
发布时间 2021/03/02 17:32:51 最后回复 瘸子那条好腿 2021/05/26 15:19:15 版块 数仓GaussDB(DWS)
7565 7 0
他的回复:
划分逻辑集群主要解决下面的几类问题:多个集群融合和读写分离,很多数仓会创建多个物理集群,一个物理集群用来批量计算,一个物理集群用来提供灵活查询和报表。两个物理集群之间通过ETL把批量计算的数据导入查询集群,这样做是为了更好的资源隔离,避免互相影响。但ETL的性能和实时性都比较差。如果将两个物理集群合并为一个更大的物理集群,虽然不需要ETL,单个查询有更多的计算资源,但批量计算和大查询之间资源竞争就会非常激烈,往往很难控制。划分成两个逻辑集群可以比较好解决这个问题。一个逻辑集群用来批量计算,另一个逻辑集群用来灵活查询。批量计算的结果可以直接写入查询集群,性能和实时性都会好得多。这种部署主要作业都是在逻辑集群内部执行,没有逻辑集群间数据传输。少量计算结果写入另一个逻辑集群涉及跨集群访问,但这种跨集群写入的数据量并不会很多。类似多租户进行业务拆分,同类业务或关系紧密的表分到相同逻辑集群中,拆分后主要作业都是在逻辑集群内执行,仅少量作业允许跨逻辑集群访问。这样可以保证逻辑集群内作业不会受其他逻辑集群作业影响。   将业务按照这种高内聚,低耦合方式拆分到多个逻辑集群往往可以做到比较好的资源隔离,也能保证关键作业有足够的资源。如果逻辑集群分配不好,存在大量跨逻辑集群关联的情况,效果可能还不如放在一个大物理集群内。