MRS 3.2.0-LTS:智能化交互式分析引擎HetuEngine能力预告
【摘要】 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。2022年9月30日即将发布的新版本MRS中,HetuEngine将带来智能预计算、data skipping、SQL诊断等新特性..
预计2022年9月30日即将发布的华为云MRS 3.2.0-LTS中,HetuEngine将带来哪些新的特性和惊喜?请继续往下看。
HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。
关键能力及业务价值:
- 湖内交互式分析:实现就地交互式查询,湖内数据“0”搬迁,PB级数据毫秒级响应;
- 统一SQL入口:构筑统一数据视图,一条SQL实现多源协同、湖仓协同、跨域协同;
- 高效协同:自动实现计算下推、数仓UDF下推,湖仓协同效率提升10倍,数据传输降低90%,零搬迁;
- 智能加速:基于收益最大化原则,实现对热查询的自动识别、预计算与在线分析加速,IO降低90%;
- 高并发高可用:算力、并发可横向扩展,弹性伸缩,自动路由,自动实时调配超大SQL的计算规模;
- 智能运维:支持SQL诊断,快速定位出质量欠佳的SQL记录及用户信息,辅助管理员提前预判潜在风险;
关键新特性:
- 基于物化视图的智能预计算与热查询缓存,实现OLAP在线分析加速,用户无感知透明加速;
- 基于Hudi文件索引实现高效Data Skipping,查询性能提升3-5倍;
- HetuEngine on HBase组合特性,自动感知、推断HBase rowkey,实现高并发、低时延SQL化模糊查询;
- 提供SQL执行历史记录的自动诊断服务,以可视化形式帮助集群管理员快速预判业务和用户风险;
- 自动实时识别、调配超大SQL的计算资源规模,自适应细粒度平滑调度,有效防御偶发性大任务对系统的负载冲击
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)