HBase HBCK的使用
1、Region数据不一致是什么
一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。
2、HBCk检查什么
a.集群所有region都被assign，且被deploy到唯一一台regionserver上
b.该region的状态在内存、hbase:meta表及zk上是否一致
c.对集群中任意一张表，每个rowkey都仅能存在于一个region区间
3、region不一致情况主要分为以下几种类型：
| 不一致 | 异常信息 | 修复命令 |
| Region信息在meta数据和hdfs都不存在，但是却被部署到Regionserver。 | errors.reportError(ERROR_CODE.NOT_IN_META_HDFS, "Region " + descriptiveName + ", key=" + key + ", not on HDFS or in hbase:meta but " + "deployed on " + Joiner.on(", ").join(hbi.deployedOn)); |
FixAssignments |
| Region在meta数据表不存在，也没有被部署到Regionserver，但是数据在hdfs上。 | errors.reportError(ERROR_CODE.NOT_IN_META_OR_DEPLOYED, "Region " + descriptiveName + " on HDFS, but not listed in hbase:meta " + "or deployed on any Region server" |
FixMeta FixAssignments |
| Region在meta数据表不存在，但是在Regionserver部署，数据在hdfs上。 | errors.reportError(ERROR_CODE.NOT_IN_META, "Region " + descriptiveName + " not in META, but deployed on " + Joiner.on(", ").join(hbi.deployedOn)); |
FixMeta FixAssignments |
| Region只存在meta中，但在hdfs和rs上都不存在 | errors.reportError(ERROR_CODE.NOT_IN_HDFS_OR_DEPLOYED, "Region " + descriptiveName + " found in META, but not in HDFS " + "or deployed on any Region server.") |
FixMeta |
| Region在meta表和Regionserver中存在，但是在hdfs不存在。 | errors.reportError(ERROR_CODE.NOT_IN_HDFS, "Region " + descriptiveName + " found in META, but not in HDFS, " + "and deployed on " + Joiner.on(", ").join(hbi.deployedOn)); |
FixAssignments FixMeta |
| Region在meta表和hdfs中存在，且Region所在表没有处于disable状态，但是没有部署。 | errors.reportError(ERROR_CODE.NOT_DEPLOYED, "Region " + descriptiveName + " not deployed on any Region server."); |
FixAssignments |
| Region处于disabling或disabled | errors.reportError(ERROR_CODE.SHOULD_NOT_BE_DEPLOYED, "Region " + descriptiveName + " should not be deployed according " + "to META, but is deployed on " + Joiner.on(", ").join(hbi.deployedOn)); |
FixAssignments |
| Region多分配 | errors.reportError(ERROR_CODE.MULTI_DEPLOYED, "Region " + descriptiveName + " is listed in hbase:meta on Region server " + hbi.metaEntry.RegionServer + " but is multiply assigned to Region servers " + Joiner.on(", ").join(hbi.deployedOn)); |
FixAssignments |
| Region在meta表的Regionserver信息与实际部署的Regionserver不一致。 | errors.reportError(ERROR_CODE.SERVER_DOES_NOT_MATCH_META, "Region " + descriptiveName + " listed in hbase:meta on Region server " + hbi.metaEntry.RegionServer + " but found on Region server " + hbi.deployedOn.get(0)); |
FixAssignments |
| 父region在meta和hdfs存在，且处于切分状态，但子region的信息在meta信息缺失。 | errors.reportError(ERROR_CODE.LINGERING_SPLIT_PARENT, "Region " + descriptiveName + " is a split parent in META, in HDFS, " + "and not deployed on any region server. This could be transient, " + "consider to run the catalog janitor first!"); |
fixSplitParents |
4、region不一致时修复步骤
步骤1. hbase hbck 检查输出所以ERROR信息，每个ERROR都会说明错误信息。
步骤2. hbase hbck -fixTableOrphones 先修复tableinfo缺失问题，根据内存cache或者hdfs table 目录结构，重新生成tableinfo文件。
步骤3. hbase hbck -fixHdfsOrphones 修复regioninfo缺失问题，根据region目录下的hfile重新生成regioninfo文件
步骤4. hbase hbck -fixHdfsOverlaps 修复region重叠问题，merge重叠的region为一个region目录，并从新生成一个regioninfo
步骤5. hbase hbck -fixHdfsHoles 修复region缺失，利用缺失的rowkey范围边界，生成新的region目录以及regioninfo填补这个空洞。
步骤6. hbase hbck -fixMeta 修复meta表信息，利用regioninfo信息，重新生成对应meta row填写到meta表中，并为其填写默认的分配regionserver
步骤7. hbase hbck -fixAssignment 把这些offline的region触发上线，当region开始重新open 上线的时候，会被重新分配到真实的RegionServer上 , 并更新meta表上对应的行信息。
注意：一般fix命令执行的时间与你的集群存储大小和region个数相关，请耐心等待。不要kill掉正在执行的fix命令，以免已发其他问题。
- 点赞
- 收藏
- 关注作者
评论（0）