MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 物化视图
HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。
图 HetuEngine架构图
一.物化视图语法的支持
313版本的HetuEngine支持完善的物化视图操作语法,支持的语法列表见下图所示:
创建物化视图 |
创建永不过期的物化视图 |
create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv11') AS select id from hive.mvschema.t1; |
创建有效期为1天不启动自动刷新的物化视图 |
create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv11', mv_validity = '24h') AS select id from hive.mvschema.t1; |
|
创建每小时自动刷新一次数据的物化视图 |
create materialized view mv.default.mv1 with(mv_storage_table='hive.default.mv1', need_autorefresh = true, mv_validity = '1h', start_refresh_ahead_of_expiry = 0.2, refresh_priority = 3, refresh_duration = '5m') AS select id from hive.mvschema.t1; |
|
列举物化视图 |
列举catalog名为“mv”,schema名为“mvschema”的所有物化视图 |
show materialized views from mvschema; |
根据子句“LIKE”筛选视图名满足规则运算表达式的物化视图 |
show MATERIALIZED VIEWs in mvschema tables like '*mvtb_0001'; |
|
查询物化视图的创建语句 |
查询mv.default.mv1的物化视图创建语句 |
show create materialized view mv.default.mv1; |
查询物化视图 |
查询mv.default.mv1的数据 |
select * from mv.default.mv1; |
刷新物化视图 |
刷新mv.default.mv1的物化视图 |
refresh materialized view mv.default.mv1; |
删除物化视图 |
删除mv.default.mv1的物化视图 |
drop materialized view mv.default.mv1; |
启用使用物化视图改写SQL进行优化 |
在session级别启用使用物化视图改写SQL进行优化 |
set session materialized_view_rewrite_enabled=true; |
验证查询是否能通过改写成物化视图进行SQL优化 |
验证查询SQL语句能否被mv.default.mv1改写优化 |
verify materialized view mvname(mv.default.mv1) originalsql select id from hive.mvschema.t1; |
SQL级别使用指定的物化视图进行SQL改写优化 |
在查询中强制使用mv.default.mv1进行优化 |
/*+ REWRITE(mv.default.mv1) */ select id from hive.mvschema.t1; |
SQL级别禁用物化视图进行SQL改写优化 |
在查询中禁止物化视图进行优化 |
/*+ NOREWRITE */ select id from hive.mvschema.t1; |
刷新物化视图元数据信息缓存 |
同步不同租户间物化视图元数据信息缓存 |
refresh catalog mv |
二.物化视图的权限控制增强
313版本的HetuEngine支持完善的物化视图权限控制,支持的列表如下表所示:
操作 |
是否有权限控制 |
创建物化视图 |
有 |
删除物化视图 |
有 |
刷新物化视图 |
有 |
使用物化视图重写查询语句 |
有 |
查询物化视图 |
有 |
物化视图和物理表联合查询 |
有 |
查看物化视图 |
有 |
查看物化视图的创建语句 |
有 |
三.物化视图的改写能力与性能增强
开启物化视图后,313版本HetuEngine性能比不开启物化视图提升100%(基于1TB的TPC-DS测试)。
参考链接:
- 点赞
- 收藏
- 关注作者
评论(0)