用DeBug的方式，带你掌握HBase文件在Snapshot的各种变化
摘要：掌握Snapshot可以帮助我们很好的完成HBase数据备份和数据迁移的工作。
简介
HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，完成一次数据备份。通过Snapshot，我们在做应用升级之前生成一个快照，后续如果遇到问题可以快速回滚到快照点。Snapshot过程不涉及底层数据文件的拷贝和移动，只是对文件做了记录，保存了一份原始文件的指针记录，所以非常迅速，掌握Snapshot可以帮助我们很好的完成HBase数据备份和数据迁移的工作。
快照文件
● 对一个表“mytable“，执行快照命令
hbase(main):078:0> snapshot 'mytable','snapshot-test' 0 row(s) in 1.1110 seconds
● 在HDFS目录下.hbase-snapshot中会生成一个生成一个以快照名字“snapshot-test”命名的snapshot文件夹
(本文HDFS中hbase的根目录为/d-hbase)
./hdfs dfs -ls /d-hbase/.hbase-snapshot Found 2 items drwxr-xr-x - root supergroup /d-hbase/.hbase-snapshot/.tmp drwxr-xr-x - root supergroup /d-hbase/.hbase-snapshot/snapshot-test
● Region的所有元数据及HFile信息会记录到snapshot文件夹中，文件夹中有2个文件，其中.snapshotinfo为snapshot基本信息，包含表名称和snapshot名，data.manifest为snapshot执行后生成的元数据信息，里面包含了表的schema信息，region信息，以及HFile指针
./hdfs dfs -ls /d-hbase/.hbase-snapshot/snapshot-test Found 2 items -rw-r--r-- 1 root supergroup /d-hbase/.hbase-snapshot/snapshot-test/.snapshotinfo -rw-r--r-- 1 root supergroup /d-hbase/.hbase-snapshot/snapshot-test/data.manifest
这里我们通过Java代码去解读这两个文件，参考HBase的工具类ExportSnapshot.java中对快照文件的解析代码
final List<Pair<SnapshotProtos.SnapshotFileInfo, Long>> files = new ArrayList<>(); HBaseProtos.SnapshotDescription snapshotDesc = SnapshotDescriptionUtils.readSnapshotInfo(fs, snapshotDir); final TableName table = TableName.valueOf(snapshotDesc.getTable()); SnapshotReferenceUtil.visitReferencedFiles(conf, fs, snapshotDir, snapshotDesc, (regionInfo, family, storeFile) -> { if (!storeFile.hasReference()) { String region = regionInfo.getEncodedName(); String hfile = storeFile.getName(); Path path = HFileLink.createPath(table, region, family, hfile); SnapshotProtos.SnapshotFileInfo fileInfo = SnapshotProtos.SnapshotFileInfo.newBuilder().setType(SnapshotProtos.SnapshotFileInfo.Type.HFILE).setHfile(path.toString()).build(); long size; if (storeFile.hasFileSize()) { size = storeFile.getFileSize(); } else { size = HFileLink.buildFromHFileLinkPattern(conf, path).getFileStatus(fs).getLen(); } files.add(new Pair<>(fileInfo, size)); } });
通过读取.snapshotinfo得到了snapshotDesc，这个对象中，主要包含了本次snapshot的name和table
通过读取data.manifest得到了本次Snapshots涉及到哪些region以及关联的HFile
这里解析出来的路径格式为 <列族>/<表名>=<reigon名>-<HFile>
解析这个格式，就能得到 “表名”，“列族”，“region”，“HFile”，有了上述信息，就基本能够找到原始的HFile路径。这个HFile的位置可能在data目录下面，也可能在archive目录中，因为表进行过major_compact，HFile会进入archive目录下。所以ExportSnapshot工具在查找snapshot对应的HFile文件时，也是找的data目录或者archive目录。
Clone表的Snapshot
接下来看一下，对clone_snapshot复制出来的表再进行snapshot快照，表中的文件变化是怎样的
执行命令，使用snapshot复制出一张表“clone_table”
clone_snapshot 'snapshot-test', 'clone_table'
查看clone出来的表的文件路径，可以看到这里的HFile其实是个链接文件，链接的是”mytable”表下的eddf78bf298819342f48b8199b3e5269这个Region的5b089dc6f7ca4fb8932aa2899a85f9b2文件
./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam Found 1 items -rw-r--r-- 1 root supergroup /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2
此时观察原始表”mytable”的archive下，已经有一个back-reference文件，以.links-开头的
./hdfs dfs -ls /d-hbase/archive/data/default/mytable/eddf78bf298819342f48b8199b3e5269/fam Found 1 items drwxr-xr-x - root supergroup /d-hbase/archive/data/default/mytable/eddf78bf298819342f48b8199b3e5269/fam/.links-5b089dc6f7ca4fb8932aa2899a85f9b2
如果此时对clone表，做major_compact
major_compact 'clone_table'
此时会生成一个新的region文件，这是一个真实的数据文件
./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam Found 2 items -rw-r--r-- 1 root supergroup 5084 /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42 -rw-r--r-- 1 root supergroup 0 /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2
那个链接文件“mytable=eddf78bf298819342f48b8199b3e5269-5b089dc6f7ca4fb8932aa2899a85f9b2”，被移除
./hdfs dfs -ls /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam Found 1 items -rw-r--r-- 1 root supergroup 5084 /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42
表在split时的Snapshot
接着对上面那个”clone_table“表进行split，并在split过程中的同时执行snapshot
split 'clone_table','3' snapshot 'clone_table','clone_table_snapshot'
初始时，在data目录下，父reigon的目录9fe93242bd8a96c80f350f829504cba2目录仍然在，
./hdfs dfs -ls /d-hbase/data/default/clone_table/ Found 5 items drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/.tabledesc drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/.tmp drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/4169b0c3083febcc11ed6e8e716d6f93 drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/611efc98e1c72502a0c31536866c4cce drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2
分裂完成后，data目录下的父region目录9fe93242bd8a96c80f350f829504cba2被移除
./hdfs dfs -ls /d-hbase/data/default/clone_table/ Found 4 items drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/.tabledesc drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/.tmp drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/4169b0c3083febcc11ed6e8e716d6f93 drwxr-xr-x - root supergroup 0 /d-hbase/data/default/clone_table/611efc98e1c72502a0c31536866c4cce
同时观察archive目录，一开始也是有父reigon和子region的目录，子reigon里面的文件是split产生的reference文件，链接的是父reigon的HFile，都是“50a43588d8b145f89a46649d34ecea42-9fe93242bd8a96c80f350f829504cba2”
过了几分钟后，只剩下了父reigon的目录
./hdfs dfs -ls /d-hbase/archive/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam Found 1 items -rw-r--r-- 1 root supergroup 5084 /d-hbase/archive/data/default/clone_table/9fe93242bd8a96c80f350f829504cba2/fam/50a43588d8b145f89a46649d34ecea42
此时，再通过之前的java代码分析data.manifest中的信息，
发现这里是包含父Region以及分裂后的2个子Region的HFile信息，且关联的子Region里的HFile也是分裂后真实存在的。
这里突然有个疑问，假如后面根据这个文件信息去恢复数据时，会不会重复去把父Region和子Region都去恢复，于是执行了ExportSnapshot命令，将snapshot对应的文件到导出来，导出来的也是包含这3个Region的真实数据文件，这表明此过程中的确会出现有重复数据文件的问题，虽然多个文件会包含同一份数据，不过对业务不会有影响，会随着后续Compact消除掉。
后续继续做了几次相同的试验，在split过程中执行snapshot，data.manifest中有时候出现1个父Region和2个子Region的信息，有时候出现1个父Region和1个子Region的信息，说明打快照是对表的HFile瞬时的记录，并不会特意去等待分裂完成。
了解快照文件的意义
可以基于快照的原理去开发HBase全量数据迁移工具，解析快照元数据，获得表的所有文件路径列表，从而不依赖ExportSnapshot工具，进行更灵活的文件迁移，将表的所有文件通过流的方式拷贝到目的集群HDFS中，进而可以使用LoadIncrementalHFiles这样的工具，将HFile装载到新的表中。
本文分享自华为云社区《看看HBase Snapshot中表的文件是怎样变化的》，原文作者：Lettle whale 。