hbase hbck 单表状态异常终极修复法

问题背景与现象

表状态异常后使用hbck命令无法修复。

解决办法

1. 移动表目录至临时目录下：

   hdfs dfs -mv /hbase/data/NAMESPACE/TABLENAME /tmp/

2. 对临时目录下的表数据打快照：

   hdfs dfsadmin -allowSnapshot /tmp/TABLENAME

   hdfs dfs -createSnapshot /tmp/TABLENAME TABLENAME_snap

3. 删除zk上表信息，修复元数据：

   deleteall /hbase/table/TABLENAME

   deleteall /hbase/table-lock/TABLENAME

   hbase hbck -fixMeta >$LOG_LOGFILE

4. 重新创建同名同结构表

5. 获取临时路径下表所有region目录：

   hdfs dfs -ls /tmp/TABLENAME/ |awk -F '/' '{if($0 ~/^d/ && $NF!="hbase") print $NF}'| egrep -v "(.tmp|.tabledesc)" > /tmp/region.txt

6. 重新将移走的数据bulkload至表中：

   cat /tmp/region.txt | while read line;do hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/TABLENAME/$line TABLENAME;done;

7. 数据恢复完成后删除hdf上的快照：

   hdfs dfs -deleteSnapshot /tmp/TABLENAME TABLENAME_snap