MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 物化视图的自动刷新功能
一. 为什么要支持自动刷新物化视图?
HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率,但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性,物化视图需要被定时刷新。
为了提升物化视图的易用性,减少需要定期刷新物化视图的麻烦,HetuEngine支持创建自动定期刷新的物化视图。
二.如何创建可以被自动刷新的物化视图?
HetuEngine支持创建自动刷新的物化视图,此处以创建10分钟自动刷新一次mvtest1物化视图为例:
CREATE MATERIALIZED VIEW mv.mvtest.mv1 with(mv_storage_table='hive.default.mv1', need_autorefresh = true, mv_validity = '10m', start_refresh_ahead_of_expiry = 0.2, refresh_priority = 1, refresh_duration = '5m') AS select id,name from t1
mv_storage_table |
物化视图物化数据的存储表 |
|
need_autorefresh |
是否创建具备自动刷新能力的物化视图 |
|
mv_validity |
物化视图的最大有效期 |
|
start_refresh_ahead_of_expiry |
表示达到物化生命周期的指定百分比时,提交自动刷新任务 |
0.2表示mv_validity结束前的20%的时间点提交刷新任务 |
refresh_priority |
刷新优先等级 |
|
refresh_duration |
刷新任务的最大运行时间 |
|
自动刷新物化视图创建后,后台会定期扫描物化视图的有效性,判断如果物化视图需要刷新,会自定执行执行刷新来保持数据的一致性,并且将结果通过可视化UI呈现和查看。
三. 物化视图刷新结果的查看
在HSConsole的自动化任务界面可以查询物化视图的自动刷新任务的信息,包括物化视图的名称,自动刷新的开始时间,自动物化视图刷新的结束时间,刷新的状态等:
HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。
图 HetuEngine架构图
参考链接:
- 点赞
- 收藏
- 关注作者
评论(0)