HBase hbck2详解

hbck2使用

hbase hbck -help：hbck帮助，执行后反馈输出hbck的帮助文档。没太多有效信息，主要就是说hbase2.x里面不再支持hbck1。

使用hbase hbck -j /opt/hbase-hbck2-1.1.0.jar --help  输出帮助信息。

bypass[OPTIONS]<PID>…

参数说明：

中止指定的Procedure任务。

当一个Procedure任务长时间未结束需要手动停止时，可以使用该命令。执行该操作可能会导致该任务对应的表，region的状态不一致，需要手动修复。如果命令执行成功则返回true，否则返回false。

参数解析：

-o,--overide                  Procedure任务执行时会获取一个IdLock，避免一个任务被多个线程处理。bypass任务时，如果不指定该参数，并且该任务还在运行中，则会导致bypass失败。指定该参数，会强制将任务的bypass标识设置为true。

需要注意：如果bypass的Procedure没有父Procedure，也没有子Procedure，则可以直接bypass；如果有父Procedure，则当前Procedure的状态不能为RUNNABLE, WAITTING,WAITTING_TIMEOUT，否则会bypass失败；如果有子Procedure，则参考下面一个参数的说明。

-r, --recursive               如果指定的Procedure还存在subProcedure，则需要指定该参数，然后会把该任务是所有子任务都先bypass掉，否则指定的Procedure会bypass失败。

-w, --lockWait               -o参数中提到的获取IdLock的超时时间，如果没有指定-o的话，会等待获取IdLock直到超过该超时长。默认1ms。

使用方式：

hbase hbck -j /opt/hbase-hbck2-1.1.0.jar bypass [OPTIONS] pid

pid获取：

在 Master UI 主页的 Procedures & Locks 菜单栏下，在页面标题中列出了所有正在进行的 Procedure 和 Locks，以及当前的 Master Procedure WALs

Procedure 和 Locks 的列表也可以通过 hbase shell 获得: list_procedures

assigns [OPTIONS] <ENCODED_REGIONNAME>

参数说明：

将一个或多个 region 再次随机 assign 到别的机器上，返回值是创建的 pid 则为成功，-1 则为失败

参数解析：

-o, 指定是否强制覆盖当前的Procedure，不指定的话，会对region的状态进行检查，如果该region有关联的Procedure任务或者region的状态不是CLOSED或OFFLINE，该操作会执行失败；

-i, 如果一次需要操作多个region，除了在命令后面指定多个encodedregionname(空格分开)，还可以通过该参数指定一个或多个本地文件，文件内容为encoded regionname(一行一个region)。

使用方式：

hbase hbck -j /opt/hbase-hbck2-1.1.0.jar assigns encodedRegionName1 encodedRegionName2...

hbase hbck -j /opt/hbase-hbck2-1.1.0.jar assigns -i fileName1 fileName2...

unassigns <ENCODED_REGIONNAME>…

参数说明：

将一个或多个 region unassign，返回值是创建的 pid 则为成功，-1 则为失败。该操作会为每一个region创建一个TRSP

参数解析：

-o，如果不指定该参数，创建TRSP之前，会检查region的状态，需要同时满足三个条件：region状态为OPEN，该表的状态非DISABLED或DISABLING, 该region没有关联的Procedure，否则会执行失败。如果该region已有对应的TRSP，新提交的TRSP任务会等待。创建成功则返回新建TRSP的pid，否则返回-1。该命令只能处理处于OPEN, CLOSING, MERGING, SPLITING状态的region。

使用方式：

hbase hbck -j /opt/hbase-hbck2-1.1.0.jar unassigns encodedRegionName1 encodedRegionName2...

setTableState<TABLE><STATE>

参数说明：

设置表状态，表状态包含：ENABLED, DISABLED, DISABLING, ENABLING

使用场景：

例如：disable一个表失败，部分region除以RIT并且表的状态DISABLING。

修复方法：

bypass掉该表以及region相关的Procedure任务，然后使用setTableState将表的状态置为DISABLED。为了保证region的状态一致，建议重新enable该表后再disalbe一次。

使用方式：

         hbase hbck -j /opt/hbase-hbck2-1.1.0.jar setTableState tableName state

setRegionState <ENCODED_REGIONNAME> <STATE>

参数说明：

              该参数用于强制把meta表中的region状态修改为指定的状态。该参数一般需要配合assigns/unassigns命令使用。因为执行assigns/unassigns命令需要region处于特定的状态，当region状态出现不一致，需要手动干预时，可能需要使用该命令强制将region修改为特定的转改。

状态包含：OFFLINE, OPENING, OPEN, CLOSING, CLOSED, SPLITTING, SPLIT,FAILED_OPEN, FAILED_CLOSE, ERGING, MERGED, SPLITTING_NEW, MERGING_NEW, ABNORMALLY_CLOSED

使用方式：

hbase hbck -j /opt/ hbase-hbck2-1.1.0.jar setRegionState regionName STATES

extraRegionsInMeta NAMESPACE|NAMESPACE:TABLENAME>...

参数说明：

找到额外的region，比如region在meta表，实际并没有目录，与reportMissingRegionsInMeta相反

参数解析：

-f 修复元数据并移除找到的所有的额外region

使用方式：

         hbase hbck -j /opt/hbase-hbck2-1.1.0.jar extraRegionsInMeta namespace|namespace:tableName

使用场景：

              类似hbase1中的found in META, but not in HDFS or deployed on any region server.

reportMissingRegionsInMeta <NAMESPACE|NAMESPACE:TABLENAME>...

参数说明：

              检查HDFS和meta表中的region信息，并列出meta表中确实的region信息。需要注意：如果meta表中没有表的state信息，该检查不会对该表进行检查；默认检查所有的表，可以指定一个或者多个namespace或者表，如果是default命名空间下的表，也需要指定命名空间。

使用方式：

hbase hbck -j /opt/hbase-hbck2-1.1.0.jar reportMissingRegionsInMeta namespace1|default:t2

filesystem [OPTIONS] [<TABLENAME>...]

参数说明：

命令主要修复与hdfs相关。主要用于修复/hbase目录下的不一致问题，开源版本仅提供了修复损坏的HFile文件，错误的reference，HFileLink文件以及hbase.version文件问题；

华为MRS集群，增加了hbase1中的一些修复，比如：region目录的空洞，重叠，残留的splitregion目录等问题。

参数解析：

              开源：

                            -f，--fix使用此选项可对损坏的HFile，错误链接和引用进行旁注。不修复hdfs holes、regioninfo缺失等问题。

              华为：

                            -sidelineCorruptHFiles：检查指定的表(默认全部)是否存在损坏的HFile文件并修复；

-fixReferenceFiles：用于检查指定的表(默认全部)是否存在损坏的HFile文件并修复；

-fixReferenceFiles：用于检查指定的表(默认全部)是否存在损坏的HFile文件并修复；

-fixVersionFile：用于检查指定的表(默认全部)是否存在损坏的HFile文件并修复；该操作不再要求HBase服务可用；

-fix：作用等同于同时指定上面4个参数，该参数为HBCK2开源版本提供的参数，其余参数为MRS特有；

-fixHdfsOrphans： 用于检查修复缺失.regioninfo文件的问题。如果该region目录下没有列簇目录或者，无法修复。修复时先从meta表获取该region的数据并重新生成.regioninfo文件，否则从该region下的hfile解析出startkey和endkey并生成.regioninfo文件。如果没有hfile，则删除该region目录，然后需要通过-fixHdfsHoles修复region空洞；

-fixHdfsHoles：用于检查和修复region空洞；

-fixHdfsOverlaps：用于检查和修复region重叠；

-removeParents：如果parent和daughter region同时在线，强制下线parent；

-fixSplitParents：如果parent和daugh region部分或者都不在线，需要通过该参数进行修复。如果daughter region的信息没有更新到meta表，则重新将parent region上线，否则尝试将daughter region上线并清理parent region。如果此时Split region的Procedure任务还未结束，默认不执行修复操作。如果Split Procedure任务执行超过一定时间(默认60s)，可以使用-force强制中止该问题。用户还可以使用-timeout修改默认的时间，单位为ms；

-fixTableOrphans：用于检查修复缺少.tableinfo文件的问题，默认从HMaster的缓存中获取并重新生成.tableinfo文件，如果获取失败，则使用默认的参数生成.tableinfo文件，这样会导致用户设置的参数丢失；

使用方式：

         hbase hbck -j /opt/hbase-hbck2-1.1.0.jar filesystem OPTIONS tableName

fixMeta

参数说明：

2.2.1/2.1.6及其以后版本才存在的参数，用户修复meta表中存在的region空洞和重叠问题。该操作依赖CatalogJanitor Consistency Issues Report，主要是针对该report中的问题进行修复操作。如果meta表和HDFS目录同时出现空洞，应该先对meta表进行修复；

使用方式：

         hbase hbck -j /opt/hbase-hbck2-1.1.0.jar fixMeta

generateMissingTableDescriptorFile <TABLENAME>

参数说明：

              修复表tableinfo，类似hbck1的fixTableOrphan.如果表目录直接丢失，则不能正常修复。

              修复过程中会先检查TableDescriptor是否缓存在hmaster中，如果是，则直接通过缓存生成，如果不在，则通过表名、列族（表目录确定）、默认配置和列族描述符。

使用方式：

              hbase hbck -j /opt/hbase-hbck2-1.1.0.jar generateMissingTableDescriptorFile tableName

scheduleRecoveries <SERVERNAME>...

参数说明：

创建一个SCP用来处理指定的ServerName。正常情况下，meta表中记录的region所在的ServerName应该是在线的RegionServer，但是记录的ServerName已经不存在，会导致region一致性的问题，需要通过此命令创建一个SCP来进行恢复。

使用方式：

hbase hbck -j /opt/ hbase-hbck2-1.1.0.jar replication -scheduleRecoveries sn1 sn2

二、修复Region重叠

hbase hbck -j /opt/client/HBase/hbase/tools/hbase-hbck2-*.jar filesystem -fixHdfsOverlaps -removeParents

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=3000 /tmp/表名 表名

注意：-Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily表示每个region最多load的文件个数，根据需要可进行调整。

五、、离线修复meta表命令

hbase_hbck2_path=$(find /opt/client -name hbase-hbck2-*.jar)
export HBASE_CLASSPATH="${hbase_hbck2_path}"
hbase org.apache.hbase.hbck1.OfflineMetaRepair

五、修复region closing或者opening状态

1、移除/hbase/MasterProWAL

2、主备倒换HMaster

六、数据迁移修复

hbase 1.x直接使用repair

hbase2.x：

       开源：未找到有效方式

       华为MRS：

1、     停止hbase服务

2、     客户端source环境变量后认证

3、     客户端执行命令：

export HBASE_CLASSPATH="${HBASE_CLASSPATH}:/opt/hadoopclient/HBase/hbase/tools/hbase-hbck2-2.2.3-hw-ei-302022.jar";

hbase org.apache.hbase.hbck1.OfflineMetaRepair

4、     启动hbase服务