数据湖(九):Iceberg特点详述和数据类型

举报
Lansonli 发表于 2022/06/20 09:34:54 2022/06/20
【摘要】 ​ Iceberg特点详述和数据类型一、Iceberg特点详述1、Iceberg分区与隐藏分区(Hidden Partition)Iceberg支持分区来加快数据查询。在Iceberg中设置分区后,可以在写入数据时将相似的行分组,在查询时加快查询速度。Iceberg中可以按照年、月、日和小时粒度划分时间戳组织分区。在Hive中也支持分区,但是要想使分区能加快查询速度,需要在写SQL时指定对应...

​ Iceberg特点详述和数据类型

一、Iceberg特点详述

1、Iceberg分区与隐藏分区(Hidden Partition)

Iceberg支持分区来加快数据查询。在Iceberg中设置分区后,可以在写入数据时将相似的行分组,在查询时加快查询速度。Iceberg中可以按照年、月、日和小时粒度划分时间戳组织分区。

在Hive中也支持分区,但是要想使分区能加快查询速度,需要在写SQL时指定对应的分区条件过滤数据,在Iceberg中写SQL查询时不需要再SQL中特别指定分区过滤条件,Iceberg会自动分区,过滤掉不需要的数据。

在Iceberg中分区信息可以被隐藏起来,Iceberg的分区字段可以通过一个字段计算出来,在建表或者修改分区策略之后,新的数据会自动计算所属于的分区,在查询的时候同样不用关心表的分区是什么字段,只需要关注业务逻辑,Iceberg会自动过滤不需要的分区数据。

正是由于Iceberg的分区信息和表数据存储目录是独立的,使得Iceberg的表分区可以被修改,而且不会涉及到数据迁移。

2、​​​​​​​Iceberg表演化(Table Evolution)

在Hive分区表中,如果把一个按照天分区的表改成按小时分区,那么没有办法在原有表上进行修改,需要创建一个按照小时分区的表,然后把数据加载到此表中。

Iceberg支持就地表演化,可以通过SQL的方式进行表级别模式演进,例如:更改表分区布局。Iceberg进行以上操作时,代价极低,不存在读出数据重新写入或者迁移数据这种费时费力的操作。

3、​​​​​​​​​​​​​​模式演化(Schema Evolution)

Iceberg支持以下几种Schema的演化:

  • ADD:向表或者嵌套结构增加新列。
  • Drop:从表或嵌套结构中移除列。
  • Rename:重命名表中或者嵌套结构中的列。
  • Update:将复杂结构(Struct、Map<Key,Value>,list)中的基本类型扩展类型长度,比如:tinyint修改成int。
  • Reorder:改变列的顺序,也可以改变嵌套结构中字段的排序顺序。

注意:

Iceberg Schema的改变只是元数据的操作改变,不会涉及到重写数据文件。Map结构类型不支持Add和Drop字段。

Iceberg保证Schema演化是没有副作用的独立操作,不会涉及到重写数据文件,具体如下:

  • 增加列时不会从另一个列中读取已存在的数据
  • 删除列或者嵌套结构中的字段时,不会改变任何其他列的值。
  • 更新列或者嵌套结构中字段时,不会改变任何其他列的值。
  • 改变列或者嵌套结构中字段顺序的时候,不会改变相关联的值。

Iceberg实现以上的原因使用唯一的id来追踪表中的每一列,当添加一个列时,会分配新的ID,因此列对应的数据不会被错误使用。

4、分区演化(partition Evolution)

Iceberg分区可以在现有表中更新,因为Iceberg查询流程并不和分区信息直接关联。

当我们改变一个表的分区策略时, 对应修改分区之前的数据不会改变, 依然会采用老的分区策略, 新的数据会采用新的分区策略, 也就是说同一个表会有两种分区策略, 旧数据采用旧分区策略, 新数据采用新新分区策略, 在元数据里两个分区策略相互独立,不重合.

因此,在我们写SQL进行数据查询时, 如果存在跨分区策略的情况, 则会解析成两个不同执行计划, 如Iceberg官网提供图所示:

图中booking_table表2008年按月分区, 进入2009年后改为按天分区, 这两中分区策略共存于该表中。得益于Iceberg的隐藏分区(Hidden Partition), 针对上图中的SQL查询, 不需要在SQL中特别指定分区过滤条件(是按照月还是按照天), Iceberg会自动分区, 过滤掉不需要的数据。

5、​​​​​​​​​​​​​​列顺序演化(Sort Order Evolution)

Iceberg可以在一个已经存在的表上修改排序策略。修改了排序策略之后, 旧数据依旧采用老排序策略不变。往Iceberg里写数据的计算引擎总是会选择最新的排序策略, 但是当排序的代价极其高昂的时候, 就不进行排序了。

二、Iceberg数据类型

Iceberg表支持以下数据类型:

类型

描述

注意点

boolean

布尔类型,true或者false


int

32位有符号整形

可以转换成long类型

long

64位有符号整形


float

单精度浮点型

可以转换成double类型

double

双精度浮点型


decimal(P,S)

decimal(P,S)

P代表精度,决定总位数,S代表规模,决定小数位数。P必须小于等于38。

date

日期,不含时间和时区


time

时间,不含日期和时区

以微秒存储,1000微秒 = 1毫秒

timestamp

不含时区的timestamp

以微秒存储,1000微秒 = 1毫秒

timestamptz

含时区的timestamp

以微秒存储,1000微秒 = 1毫秒

string

任意长度的字符串类型

UTF-8编码

fixed(L)

长度为L的固定长度字节数组


binary

任意长度的字节数组


struct<...>

任意数据类型组成的一个结构化字段


list<E>

任意数据类型组成的List


map<K,V>

任意类型组成的K,V的Map


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。