MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 物化视图的自动刷新功能

一.  为什么要支持自动刷新物化视图？

HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。

为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物化视图。

二．如何创建可以被自动刷新的物化视图？

        HetuEngine支持创建自动刷新的物化视图，此处以创建10分钟自动刷新一次mvtest1物化视图为例：

   CREATE MATERIALIZED VIEW mv.mvtest.mv1 with(mv_storage_table='hive.default.mv1', need_autorefresh = true, mv_validity = '10m', start_refresh_ahead_of_expiry = 0.2, refresh_priority = 1, refresh_duration = '5m') AS select id,name from t1

       自动刷新物化视图创建后，后台会定期扫描物化视图的有效性，判断如果物化视图需要刷新，会自定执行执行刷新来保持数据的一致性，并且将结果通过可视化UI呈现和查看。

三. 物化视图刷新结果的查看

       在HSConsole的自动化任务界面可以查询物化视图的自动刷新任务的信息，包括物化视图的名称，自动刷新的开始时间，自动物化视图刷新的结束时间，刷新的状态等：

HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图

参考链接：

湖仓一体天花板，大数据一站式SQL分析技术实践