近日，运维同事给一老旧的HBase集群（HBase-1.1.2）扩容Zookeeper，引出了一个HBase Replication中断的问题，求助到这边，帮助恢复了一下集群，这里记录一下处理过程。 

问题现象

  1、因为这个集群后面涉及机器搬迁，所以给集群扩容了2个zookeeper节点，因为是使用ambari管理集群，扩容ZK需要重启整个Zookeeper，会存在短暂的断连；

  2、在Zookeeper扩容完成后，监控发现HBase Replicaiton同步位移时间戳停留在了一点多钟，位移不再变化，检查了一下数据同步，发现当前集群到目标集群的数据同步中断了；

问题处理  

1、此时检查当前集群RegionServer日志，发现如下信息

  [relicationSource.1] wal.WALFactory: Can't open after 300 attempts and 300486ms for hdfs://xxx/hbase/oldWALs/xxxx

  regionserver.ReplicationSource: 1 Got: java.io.IOException: Cannot obtain block block length for LocatedBlock

  walFactory: Lease should have recovered.

2、这时候意识到，Replication线程应该读取不了对应的HLog文件，于是手工用hdfs dfs -get命令去获取对应HLog文件确认一下，发现也是报相同的错误：Cannot obtain block block length for LocatedBlock

3、网上查找处理方法，找到一篇：Cannot obtain block length for LocatedBlock故障分析和解决（https://www.cnblogs.com/cssdongl/p/6700512.html），里面记录了其他组件遇到此问题的处理方法，

于是使用hdfs fsck /hbase/oldWals –openforwrite检查了一下oldWAls目录，这些Hlog果然都是有问题的；

然后执行hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>，将有问题的Hlog文件依次执行一遍这个命令恢复；

恢复租约close文件的命令执行完成后，Replication中断的问题立即消失了。

这是个老旧版本的HBase（1.1.2），在社区ISSUE上找到相关的单：https://issues.apache.org/jira/browse/HBASE-15019

运维在处理zk扩容的时候，可能涉及到了HDFS相关参数同步更新以及重启，导致此问题。