MRS 3.2.0-LTS:智能化交互式分析引擎HetuEngine能力预告

HetuEngine九级代言 发表于 2022/09/17 22:36:11 2022/09/17
【摘要】 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。2022年9月30日即将发布的新版本MRS中,HetuEngine将带来智能预计算、data skipping、SQL诊断等新特性..

 

预计2022930日即将发布的华为云MRS 3.2.0-LTS中HetuEngine将带来哪些新的特性和惊喜?请继续往下看。

 

HetuEngine.PNG

HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。


关键能力及业务价值:

  • 湖内交互式分析:实现就地交互式查询,湖内数据“0”搬迁,PB级数据毫秒级响应;
  • 统一SQL入口:构筑统一数据视图,一条SQL实现多源协同、湖仓协同、跨域协同;
  • 高效协同:自动实现计算下推、数仓UDF下推,湖仓协同效率提升10倍,数据传输降低90%,零搬迁;
  • 智能加速:基于收益最大化原则,实现对热查询的自动识别、预计算与在线分析加速,IO降低90%
  • 高并发高可用:算力、并发可横向扩展,弹性伸缩,自动路由,自动实时调配超大SQL的计算规模;
  • 智能运维:支持SQL诊断,快速定位出质量欠佳的SQL记录及用户信息,辅助管理员提前预判潜在风险;

 

关键新特性:

  • 基于物化视图的智能预计算与热查询缓存,实现OLAP在线分析加速,用户无感知透明加速;
  • 基于Hudi文件索引实现高效Data Skipping,查询性能提升3-5倍;
  • HetuEngine on HBase组合特性,自动感知、推断HBase rowkey,实现高并发、低时延SQL化模糊查询;
  • 提供SQL执行历史记录的自动诊断服务,以可视化形式帮助集群管理员快速预判业务和用户风险;
  • 自动实时识别、调配超大SQL的计算资源规模,自适应细粒度平滑调度,有效防御偶发性大任务对系统的负载冲击
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。