交互式分析引擎HetuEngine 2.1.0新能力速览(MRS 3.5.0-LTS版本)

举报
HetuEngine九级代言 发表于 2024/10/17 15:31:45 2024/10/17
【摘要】 2024年9月30日,华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中,交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。

2024年9月30日,华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。

在该版本中,交互式分析引擎HetuEngine 2.1.0 关键新增能力如下:

重点特性

描述

适配Hudi 0.15.0
实时数据湖场景,支持适配Hudi 0.15.0
新增支持Oracle数据源 逻辑数据湖场景,支持跨源访问Oracle数据源
新增支持GBase数据源 逻辑数据湖场景,支持跨源访问GBase数据源
新增支持OpenGauss数据源 逻辑数据湖场景,支持跨源访问OpenGauss数据源
支持数据湖统一元数据、权限 数智融合场景,支持Lakeformation统一元数据、权限
性能:HetuEngine on Hudi性能优化

COW表:TPCDS性能提升30%;  MOR表:响应时间从分钟级提速到秒级

某大行:数据实时入湖(Hudi MOR表),秒级可见

安全:业内率先支持 动态脱敏2.0

业内首创数据“可算不可见”,完整支持多表关联+多层嵌套复杂计算场景下的真实业务脱敏需求

性能损耗小于3%,脱敏策略自动传递。

Ranger-hive权限同步到Ranger-Hetu权限

支持Ranger-hive权限策略批量同步至Ranger-Hetu权限策略

计算实例级负载监控增强

增强HetuEngine的运维监控能力,提升现网的运维能力 与 SQL级观测能力

并发/限流默认优化 开箱即优

新增支持湖格式:Deltalake

POC特性

新增支持湖格式:Iceberg

POC特性

下个版本新能力预告:

在下个版本中,HetuEngine即将支持Hudi MOW表,完美平衡数据入湖与实时分析的效率诉求。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。