MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 Massive Data Exchange

HetuEngine九级代言 发表于 2022/05/08 12:41:39 2022/05/08
【摘要】 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时,数据都是经过GaussDB的Coordinator节点进入集群,会对coordinator节点带来较大压力,并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时(包含CREATE TABLE AS SELECT和INSERT INTO SE...

特性背景

传统JDBC或者copymanager方式对GaussDB进行数据写入时,数据都是经过GaussDB的Coordinator节点进入集群,会对coordinator节点带来较大压力,并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。
在使用HetuEngine向GaussDB写入数据时(包含CREATE TABLE AS SELECT和INSERT INTO SELECT语法),尽量减少GaussDB的Coordinator节点压力,同时优化数据块传输效率,提升数据写入性能。

特性功能

1.使用HetuEngine服务向GaussDB写入数据时,尽量降低对GaussDB的负载压力;
2.提升批量写入GaussDB的整体性能

性能对比

  1. 随着写入数据量越大,MDE执行时间呈近似线性增长,最大写入速率可达35MB/s;

  2. 单并发场景:
    比普通JDBC写入方式性能提升≈17倍,比开启copymanager性能提升≈3倍;
    多并发场景下:

  3. 随着并发数增加,MDE性能呈线性下降,copymanager呈指数下降
    并发数越大,MDE比copymanager性能提升越多;
    超过20并发后,copymanager出现部分任务失败,MDE表现稳定。


write.png




HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图

参考链接:

湖仓一体天花板,大数据一站式SQL分析技术实践

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。