交互式分析引擎HetuEngine 2.1.0新能力速览(MRS 3.5.0-LTS版本)
【摘要】 2024年9月30日,华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中,交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。
2024年9月30日,华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。
在该版本中,交互式分析引擎HetuEngine 2.1.0 关键新增能力如下:
重点特性 |
描述 |
适配Hudi 0.15.0 |
实时数据湖场景,支持适配Hudi 0.15.0
|
新增支持Oracle数据源 | 逻辑数据湖场景,支持跨源访问Oracle数据源 |
新增支持GBase数据源 | 逻辑数据湖场景,支持跨源访问GBase数据源 |
新增支持OpenGauss数据源 | 逻辑数据湖场景,支持跨源访问OpenGauss数据源 |
支持数据湖统一元数据、权限 | 数智融合场景,支持Lakeformation统一元数据、权限 |
性能:HetuEngine on Hudi性能优化 |
COW表:TPCDS性能提升30%; MOR表:响应时间从分钟级提速到秒级 某大行:数据实时入湖(Hudi MOR表),秒级可见 |
安全:业内率先支持 动态脱敏2.0 |
业内首创数据“可算不可见”,完整支持多表关联+多层嵌套复杂计算场景下的真实业务脱敏需求 性能损耗小于3%,脱敏策略自动传递。 |
Ranger-hive权限同步到Ranger-Hetu权限 |
支持Ranger-hive权限策略批量同步至Ranger-Hetu权限策略 |
计算实例级负载监控增强 |
增强HetuEngine的运维监控能力,提升现网的运维能力 与 SQL级观测能力 |
并发/限流默认优化 | 开箱即优 |
新增支持湖格式:Deltalake |
POC特性 |
新增支持湖格式:Iceberg |
POC特性 |
下个版本新能力预告:
在下个版本中,HetuEngine即将支持Hudi MOW表,完美平衡数据入湖与实时分析的效率诉求。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)