FusionInsight MRS Hudi原理解析之Metadata Table

Metadata表即Hudi元数据表，是一种特殊的Hudi表，对用户隐藏。该表用于存放普通Hudi表的元数据信息。

Metadata表包含在普通Hudi表内部，与Hudi表是一一对应关系。

为什么引入Metadata表

HDFS的list海量表分区文件是非常耗费rpc请求，很容易导致HDFS的吞吐量下降，影响性能，这对于OBS等对象存储问题更严重。而查询引擎在查询之前必须要经历上述步骤。

当前分区表的分区信息一般存放在Hive Metastore里面。当分区表的分区大到一定程度，查询引擎查询当前表分区信息时性能会严重下降。

Metadata表是如何解决这些问题的

Metadata表把当前Hudi表的分区信息，以及分区目录下的文件信息作为元数据信息，存储在一张特殊的Hudi表里面，这样当查询引擎需要list表分区文件时只需要访问这张特殊的表即可，由于元数据信息数据量本身不大，所以查询起来可以大大降低HDFS的rpc压力。

Metadata表的实现使用了Hudi MOR表，这意味着和其他任何Hudi表一样，可以被压缩（Compaction）、清理（Clean）、增量更新（incrementally updated）。 而且与其他项目中的类似实现不同，我们选择将文件列表等信息索引为HFile格式（格式可插拔），HFile提供了很好的点查性能，可以高效获取分区文件列表等信息。

如何使用Metadata表

Hive查询时执行：set hoodie.metadata.enable=true

SparkSql查询时在启动SparkSql时指定：--conf spark.hadoop.hoodie.metadata.enable=true

Spark写入时直接在option参数里面指定“hoodie.metadata.enable”值为“true”。

更多参数请参考配置参考或Hudi官网：http://hudi.apache.org/docs/configurations.html#metadata-config。

Metadata表性能提升

测试有25万个分区文件的表，Metadata表相比使用Spark并发Listing要快2~3倍。

更多设计细节可查阅Hudi官网：https://cwiki.apache.org/confluence/display/HUDI/RFC+-+15%3A+HUDI+File+Listing+Improvements。

Metadata表使用最佳实践