华为云FusionInsight Phoenix之--CsvBulkLoadTool入库流程分析

入库命令

2 执行逻辑

2.1 Map 逻辑

CsvBulkLoadTool使用的是hbase bulkload入库方式，重写了map 和reduce等实现。Map逻辑在CsvToKeyValueMapper类中。

Map读取csv文件中的每一行数据，在conf中获取数据表名。然后根据表名，和数据构造一个upsert 语句，生成执行逻辑，最后生成每一个mutation对象。一行数据可以构造多个mutation对象，因为如果索引表不是disable的话，会生成写索引表的mutation对象。如果索引表是disable状态，就不会构造插入索引表的mutation对象。

然后解析每一个mutation,从中取得表名和value。生成一个key是表名

Reduce逻辑

逻辑较简单，根据map的输出，构造put或者delete对象，key中依然携带表的信息，最终的hfile生成在MultiHfileOutputFormat中，生成不同表的hfile文件。