特性背景

传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。
在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SELECT语法），尽量减少GaussDB的Coordinator节点压力，同时优化数据块传输效率，提升数据写入性能。

特性功能

1.使用HetuEngine服务向GaussDB写入数据时，尽量降低对GaussDB的负载压力；
2.提升批量写入GaussDB的整体性能

性能对比

1. 随着写入数据量越大，MDE执行时间呈近似线性增长，最大写入速率可达35MB/s;

2. 单并发场景：
   比普通JDBC写入方式性能提升≈17倍，比开启copymanager性能提升≈3倍；
   多并发场景下：

3. 随着并发数增加，MDE性能呈线性下降，copymanager呈指数下降
   并发数越大，MDE比copymanager性能提升越多；
   超过20并发后，copymanager出现部分任务失败，MDE表现稳定。

   
   

HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图

参考链接：

湖仓一体天花板，大数据一站式SQL分析技术实践