MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 物化视图的自动刷新功能

HetuEngine九级代言 发表于 2022/05/08 12:37:16 2022/05/08
【摘要】 一.  为什么要支持自动刷新物化视图?HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率,但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性,物化视图需要被定时刷新。为了提升物化视图的易用性,减少需要定期刷新物化视图的麻烦,HetuEngine支持创建自动定期刷新的物...

一.  为什么要支持自动刷新物化视图?

HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率,但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性,物化视图需要被定时刷新。

为了提升物化视图的易用性,减少需要定期刷新物化视图的麻烦,HetuEngine支持创建自动定期刷新的物化视图。


二.如何创建可以被自动刷新的物化视图?

        HetuEngine支持创建自动刷新的物化视图,此处以创建10分钟自动刷新一次mvtest1物化视图为例:

   CREATE MATERIALIZED VIEW mv.mvtest.mv1 with(mv_storage_table='hive.default.mv1', need_autorefresh = true, mv_validity = '10m', start_refresh_ahead_of_expiry = 0.2, refresh_priority = 1, refresh_duration = '5m') AS select id,name from t1

 

mv_storage_table

物化视图物化数据的存储表

 

need_autorefresh

是否创建具备自动刷新能力的物化视图

 

mv_validity

物化视图的最大有效期

 

start_refresh_ahead_of_expiry

表示达到物化生命周期的指定百分比时,提交自动刷新任务

0.2表示mv_validity结束前的20%的时间点提交刷新任务

refresh_priority

刷新优先等级

 

refresh_duration

刷新任务的最大运行时间

 

 

       自动刷新物化视图创建后,后台会定期扫描物化视图的有效性,判断如果物化视图需要刷新,会自定执行执行刷新来保持数据的一致性,并且将结果通过可视化UI呈现和查看。


三. 物化视图刷新结果的查看

       HSConsole的自动化任务界面可以查询物化视图的自动刷新任务的信息,包括物化视图的名称,自动刷新的开始时间,自动物化视图刷新的结束时间,刷新的状态等:

autojob.png


HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图

参考链接:

湖仓一体天花板,大数据一站式SQL分析技术实践

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。