看看HBase Snapshot中表的文件是怎样变化的

简介

● HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，完成一次数据备份。通过Snapshot，我们在做应用升级之前生成一个快照，后续如果遇到问题可以快速回滚到快照点。Snapshot过程不涉及底层数据文件的拷贝和移动，只是对文件做了记录，保存了一份原始文件的指针记录，所以非常迅速，掌握Snapshot可以帮助我们很好的完成HBase数据备份和数据迁移的工作。

● 网上已经有很多讲述Snapshot原理的文章，大家可以去看看，接下来的文章将根据实际的Snapshot操作，来讲述打完快照后表的文件变化。

快照文件

● 对一个表“mytable“，执行快照命令

hbase(main):078:0> snapshot 'mytable','snapshot-test'
0 row(s) in 1.1110 seconds

● 在HDFS目录下.hbase-snapshot中会生成一个生成一个以快照名字“snapshot-test”命名的snapshot文件夹

(本文HDFS中hbase的根目录为/d-hbase)

./hdfs dfs -ls /d-hbase/.hbase-snapshot
Found 2 items
drwxr-xr-x   - root supergroup    /d-hbase/.hbase-snapshot/.tmp
drwxr-xr-x   - root supergroup    /d-hbase/.hbase-snapshot/snapshot-test

● Region的所有元数据及HFile信息会记录到snapshot文件夹中，文件夹中有2个文件，其中.snapshotinfo为snapshot基本信息，包含表名称和snapshot名，data.manifest为snapshot执行后生成的元数据信息，里面包含了表的schema信息，region信息，以及HFile指针

./hdfs dfs -ls /d-hbase/.hbase-snapshot/snapshot-test
Found 2 items
-rw-r--r--   1 root supergroup    /d-hbase/.hbase-snapshot/snapshot-test/.snapshotinfo
-rw-r--r--   1 root supergroup    /d-hbase/.hbase-snapshot/snapshot-test/data.manifest

这里我们通过Java代码去解读这两个文件，参考HBase的工具类ExportSnapshot.java中对快照文件的解析代码

final List<Pair<SnapshotProtos.SnapshotFileInfo, Long>> files = new ArrayList<>();
HBaseProtos.SnapshotDescription snapshotDesc = SnapshotDescriptionUtils.readSnapshotInfo(fs, snapshotDir);
final TableName table = TableName.valueOf(snapshotDesc.getTable());
SnapshotReferenceUtil.visitReferencedFiles(conf, fs, snapshotDir, snapshotDesc, (regionInfo, family, storeFile) -> {
    if (!storeFile.hasReference()) {
        String region = regionInfo.getEncodedName();
        String hfile = storeFile.getName();
        Path path = HFileLink.createPath(table, region, family, hfile);
        SnapshotProtos.SnapshotFileInfo fileInfo = SnapshotProtos.SnapshotFileInfo.newBuilder().setType(SnapshotProtos.SnapshotFileInfo.Type.HFILE).setHfile(path.toString()).build();
        long size;
        if (storeFile.hasFileSize()) {
            size = storeFile.getFileSize();
        } else {
            size = HFileLink.buildFromHFileLinkPattern(conf, path).getFileStatus(fs).getLen();
        }

        files.add(new Pair<>(fileInfo, size));
    }
});

通过读取.snapshotinfo得到了snapshotDesc，这个对象中，主要包含了本次snapshot的name和table

通过读取data.manifest得到了本次Snapshots涉及到哪些region以及关联的HFile

这里解析出来的路径格式为 <列族>/<表名>=<reigon名>-<HFile>

解析这个格式，就能得到 “表名”，“列族”，“region”，“HFile”，有了上述信息，就基本能够找到原始的HFile路径。这个HFile的位置可能在data目录下面，也可能在archive目录中，因为表进行过major_compact，HFile会进入archive目录下。所以ExportSnapshot工具在查找snapshot对应的HFile文件时，也是找的data目录或者archive目录。

Clone表的Snapshot

接下来看一下，对clone_snapshot复制出来的表再进行snapshot快照，表中的文件变化是怎样的

执行命令，使用snapshot复制出一张表“clone_table”

clone_snapshot 'snapshot-test', 'clone_table'

查看clone出来的表的文件路径，可以看到这里的HFile其实是个链接文件，链接的是"mytable"表下的eddf78bf298819342f48b8199b3e5269这个Region的5b089dc6f7ca4fb8932aa2899a85f9b2文件

./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam
Found 1 items
-rw-r--r--   1 root supergroup         /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2

此时观察原始表"mytable"的archive下，已经有一个back-reference文件，以.links-开头的

./hdfs dfs -ls /d-hbase/archive/data/default/mytable/eddf78bf298819342f48b8199b3e5269/fam
Found 1 items
drwxr-xr-x   - root supergroup         /d-hbase/archive/data/default/mytable/eddf78bf298819342f48b8199b3e5269/fam/.links-5b089dc6f7ca4fb8932aa2899a85f9b2

如果此时对clone表，做major_compact

major_compact 'clone_table'

此时会生成一个新的region文件，这是一个真实的数据文件

./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam
Found 2 items
-rw-r--r--   1 root supergroup       5084  /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42
-rw-r--r--   1 root supergroup          0  /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2

那个链接文件“mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2”，被移除

./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam
Found 1 items
-rw-r--r--   1 root supergroup       5084  /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42

表在split时的Snapshot

接着对上面那个”clone_table“表进行split，并在split过程中的同时执行snapshot

split 'clone_table','3'
snapshot 'clone_table','clone_table_snapshot'

初始时，在data目录下，父reigon的目录9fe93242bd8a96c80f350f829504cba2目录仍然在，

./hdfs dfs -ls /d-hbase/data/default/clone_table/
Found 5 items
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/.tabledesc
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/.tmp
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/4169b0c3083febcc11ed6e8e716d6f93
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/611efc98e1c72502a0c31536866c4cce
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2

分裂完成后，data目录下的父region目录9fe93242bd8a96c80f350f829504cba2被移除

./hdfs dfs -ls /d-hbase/data/default/clone_table/
Found 4 items
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/.tabledesc
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/.tmp
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/4169b0c3083febcc11ed6e8e716d6f93
drwxr-xr-x   - root supergroup          0  /d-hbase/data/default/clone_table/611efc98e1c72502a0c31536866c4cce

同时观察archive目录，一开始也是有父reigon和子region的目录，子reigon里面的文件是split产生的reference文件，链接的是父reigon的HFile，都是“50a43588d8b145f89a46649d34ecea42-9fe93242bd8a96c80f350f829504cba2”

过了几分钟后，只剩下了父reigon的目录

./hdfs dfs -ls /d-hbase/archive/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam
Found 1 items
-rw-r--r--   1 root supergroup       5084  /d-hbase/archive/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42

此时，再通过之前的java代码分析data.manifest中的信息，

发现这里是包含父Region以及分裂后的2个子Region的HFile信息，且关联的子Region里的HFile也是分裂后真实存在的

这里突然有个疑问，假如后面根据这个文件信息去恢复数据时，会不会重复去把父Region和子Region都去恢复，

于是执行了ExportSnapshot命令，将snapshot对应的文件到导出来，导出来的也是包含这3个Region的真实数据文件，这表明此过程中的确会出现有重复数据文件的问题，虽然多个文件会包含同一份数据，不过对业务不会有影响，会随着后续Compact消除掉。

后续继续做了几次相同的试验，在split过程中执行snapshot，data.manifest中有时候出现1个父Region和2个子Region的信息，有时候出现1个父Region和1个子Region的信息，说明打快照是对表的HFile瞬时的记录，并不会特意去等待分裂完成。

了解快照文件的意义

可以基于快照的原理去开发HBase全量数据迁移工具，解析快照元数据，获得表的所有文件路径列表，从而不依赖ExportSnapshot工具，进行更灵活的文件迁移，将表的所有文件通过流的方式拷贝到目的集群HDFS中，进而可以使用LoadIncrementalHFiles这样的工具，将HFile装载到新的表中。