MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 物化视图

HetuEngine九级代言 发表于 2022/05/08 12:29:45 2022/05/08
【摘要】    HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后,313版本HetuEngine性能比不开启物化视图提升100%(基于1TB的TPC-DS测试)。

HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图


一.物化视图语法的支持

313版本的HetuEngine支持完善的物化视图操作语法,支持的语法列表见下图所示:

 

创建物化视图

创建永不过期的物化视图

create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv11') AS select id from hive.mvschema.t1;

创建有效期为1天不启动自动刷新的物化视图

create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv11', mv_validity = '24h') AS select id from hive.mvschema.t1;

创建每小时自动刷新一次数据的物化视图

create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv1', need_autorefresh = true, mv_validity = '1h', start_refresh_ahead_of_expiry = 0.2, refresh_priority = 3, refresh_duration = '5m') AS select id from hive.mvschema.t1;

列举物化视图

列举catalog名为“mv”schema名为“mvschema”的所有物化视图

show materialized views from mvschema;

根据子句“LIKE”筛选视图名满足规则运算表达式的物化视图

show MATERIALIZED VIEWs in mvschema tables like '*mvtb_0001';

查询物化视图的创建语句

查询mv.default.mv1的物化视图创建语句

show create materialized view mv.default.mv1;

查询物化视图

查询mv.default.mv1的数据

select * from mv.default.mv1;

刷新物化视图

刷新mv.default.mv1的物化视图

refresh materialized view mv.default.mv1;

删除物化视图

删除mv.default.mv1的物化视图

drop materialized view mv.default.mv1;

启用使用物化视图改写SQL进行优化

session级别启用使用物化视图改写SQL进行优化

set session materialized_view_rewrite_enabled=true;

验证查询是否能通过改写成物化视图进行SQL优化

验证查询SQL语句能否被mv.default.mv1改写优化

verify materialized view mvname(mv.default.mv1) originalsql select id from hive.mvschema.t1;

SQL级别使用指定的物化视图进行SQL改写优化

在查询中强制使用mv.default.mv1进行优化

/*+ REWRITE(mv.default.mv1) */ select id from hive.mvschema.t1;

SQL级别禁用物化视图进行SQL改写优化

在查询中禁止物化视图进行优化

/*+ NOREWRITE */ select id from hive.mvschema.t1;

刷新物化视图元数据信息缓存

同步不同租户间物化视图元数据信息缓存

refresh catalog mv

 

 

二.物化视图的权限控制增强

 

313版本的HetuEngine支持完善的物化视图权限控制,支持的列表如下表所示:

操作

是否有权限控制

创建物化视图

删除物化视图

刷新物化视图

使用物化视图重写查询语句

查询物化视图

物化视图和物理表联合查询

查看物化视图

查看物化视图的创建语句

 

三.物化视图的改写能力与性能增强

   开启物化视图后,313版本HetuEngine性能比不开启物化视图提升100%(基于1TBTPC-DS测试)。


性能对比.png


参考链接:

湖仓一体天花板,大数据一站式SQL分析技术实践

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。