MRS3.1.3-LTS 交互式分析引擎HetuEngine新特性之 支持HUDI Schema演进

HetuEngine九级代言 发表于 2022/05/08 12:33:40 2022/05/08
【摘要】 一.   什么是Schema演进?Schema演进是指保持表的数据不变,对表的schema进行变换,包括列的位置变更,新增删除列或者列的数据类型变更,查询引擎能正确地处理这些数据与表schema不一致的变更。 二.HetuEngine哪些表支持Schema演进?   COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三.HetuEng...

一.   什么是Schema演进?

Schema演进是指保持表的数据不变,对表的schema进行变换,包括列的位置变更,新增删除列或者列的数据类型变更,查询引擎能正确地处理这些数据与表schema不一致的变更。

 

二.HetuEngine哪些表支持Schema演进?

   

COW表的schema变更

支持

MOR表的RT表的schema变更

支持

MOR表的RO表的schema变更

支持

 

三.HetuEngine支持哪些Schema演进

列变换

新增列

支持

删除列

支持

移动列

支持

修改列备注

支持

修改列名称

不支持

列类型变换

int long/float/double/string

支持

long float/double/string

支持

float double/string

支持

Doublestring/Decimal

支持

Decimal  Decimal/String

支持

Stringdate/Decimal

支持

DateString

支持


HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。

图 HetuEngine架构图

参考链接:

湖仓一体天花板,大数据一站式SQL分析技术实践

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。