云备份 CBR HBase 备份恢复用户指南
1.1 信息搜集
在规划与准备HBase数据库定时备份恢复前,请您先获取参考文档了解相关内容并收集Hadoop集群信息,包含HDFS和HBase相关信息。
1.1.1 文件下载
为防止操作被中断,建议您提前下载好以下的文档:
《云备份 CBR 实施指导》
《云备份 CBR 公共管理用户指南》
《云备份 CBR 软件兼容性列表》
《云备份 CBR 定时数据保护重复数据删除用户指南》
《云备份 CBR 客户端软件安装卸载用户指南》
《云备份 CBR 定时数据保护远程复制用户指南》
《云备份 CBR 备份数据一致性校验用户指南》
1.1.2 Hadoop集群信息收集
为防止操作被中断,建议您提前收集好后续操作要使用的Hadoop集群信息,并确保Hadoop集群的状态正常运行,详见表1-1 Hadoop集群信息收集表。由于HBase数据库运行依赖于HDFS,所以除了需要搜集HBase相关信息外,还需要搜集HDFS相关信息,HDFS信息搜集可参考《云备份 CBR Hadoop 文件系统备份恢复用户指南》第1.1.1小节。
表1-1 Hadoop集群信息收集表
编号 |
信息归属 |
信息项 |
说明 |
1 |
HDFS |
NameNode IP:用于连接HDFS服务,与HDFS URL可以二选一,若集群有多个NameNode时,建议使用HDFS URL。 |
获取方式详见《云备份 CBR Hadoop 文件系统备份恢复用户指南》1.1.1章节 |
2 |
NameNode端口号:Hadoop集群的NameNode端口号,使用NameNode IP时需要配置端口号,使用HDFS URL方式可忽略。 |
获取方式详见《云备份 CBR Hadoop 文件系统备份恢复用户指南》1.1.1章节 |
|
3 |
HDFS URL:用于连接HDFS服务,若集群有多个NameNode时强烈建议选用此方式。 |
获取方式详见《云备份 CBR Hadoop 文件系统备份恢复用户指南》1.1.1章节 |
|
4 |
HDFS用户名:具有HDFS备份目录读写权限的用户名,建议使用具有HDFS管理员权限的用户名,且需要加入supergroup组。 |
可联系HDFS管理员获取 |
|
5 |
HDFS客户端:用于实际备份传输数据的客户端,一般选择DataNode节点最为HDFS客户端。 |
可登录Hadoop管理后台查看DataNode节点 |
|
6 |
HDFS Keytab路径:若Hadoop集群已开启kerberos,则需要填写此项,否则无需填写。此路径为每个HDFS客户端上对应上述HDFS用户名的keytab文件全路径。 |
详见《云备份 CBR Hadoop 文件系统备份恢复用户指南》1.1.1章节 |
|
7 |
Hadoop native library path:即libhdfs.so文件所在目录。 |
详见《云备份 CBR 客户端软件安装卸载用户指南》 |
|
8 |
the jvm library path:即libjvm.so文件所在目录。 |
详见《云备份 CBR 客户端软件安装卸载用户指南》 |
|
9 |
The absolute path of file krb5.conf:即krb5.conf文件的绝对路径,集群开启kerberos时需要填写。 |
详见《云备份 CBR 客户端软件安装卸载用户指南》 |
|
10 |
Hadoop bin file path:即hadoop bin文件所在的目录。 |
详见《云备份 CBR 客户端软件安装卸载用户指南》 |
|
11 |
Hadoop config目录:HDFS相关配置文件存放目录,CDH版本默认为/etc/hadoop/conf.cloudera.hdfs; Apache版本默认为Hadoop安装目录下的/etc/Hadoop目录。 |
详见1.1.3小节 |
|
12 |
HBase |
HBase config目录:HBase客户端上HBase相关配置文件存放目录,CDH版本默认为/etc/hbase/conf.cloudera.hbase; Apache版本默认为HBase安装目录下的/conf目录。 |
详见1.1.3小节 |
13 |
HBase用户名:具有HBase管理权限的用户名,需加入supergroup组,建议使用HBase用户。 |
可联系HBase管理员获取 |
|
14 |
HBase客户端:用于执行HBase数据库快照等管理操作的客户端,建议选择1-3个RegionServer节点作为HBase客户端。 |
可登录Hadoop管理后台查看RegionServer节点 |
|
15 |
HBase Keytab路径:若Hadoop集群开启kerberos,则需要填写此项,此路径为每个HBase客户端上对应HBase用户名的keytab文件全路径。 |
详见5.1小节 |
注意:若Hadoop集群已开启Kerberos,需要注意下面内容:
l 需要把yarn-site.xml复制到HDFS配置文件目录下,否则增量备份会报错。以CDH版本为例:cp /etc/hadoop/conf.cloudera.yarn/yarn-site.xml /etc/hadoop/conf.cloudera.hdfs/,其中/etc/hadoop/conf.cloudera.hdfs/为配置虚拟客户端时需要填写的Hadoop config目录。
1.1.3 config目录查询
HBase备份恢复过程中会自动读取HDFS和HBase相关配置文件,所以在创建HBase虚拟客户端时需要填写Hadoop config目录和HBase config目录,这两个配置项作用于所有HBase客户端,所以需要保证所有HBase客户端配置文件目录相同。各发行版本默认配置文件目录详见表1-2。
表1-2 默认配置文件目录
HBase版本 |
Hadoop config目录 |
HBase config目录 |
Apache |
安装目录/etc/hadoop |
安装目录/conf |
CDH |
/etc/hadoop/conf.cloudera.hdfs |
/etc/hbase/conf.cloudera.hbase |
FusionInsight及MRS |
安装目录/HDFS/hadoop/etc/hadoop/ |
安装目录/HBase/hbase/conf/ |
1.2 网络规划
在使用 CBR 进行HBase数据库备份与恢复前,为确保可以正常备份,请您先将管理控制台、存储服务器、客户端和Hadoop HDFS集群之间的网络规划好。
备份恢复的网络规划存在多种可能,本小节以管理网和数据网分离的场景为例,进行说明。
HBase数据保存在HDFS中,所以HBase备份恢复中数据流向与HDFS备份恢复基本一致。
部署方式:管理控制台、客户端以及 Hadoop HDFS集群共同接入管理网,管理控制台、存储服务器以及客户端共同接入数据网。
备份数据流:备份时数据流通过数据网从 Hadoop HDFS集群流入客户端,再通过数据网从客户端流入存储服务器。
恢复数据流:恢复时数据流通过数据网从存储服务器流入客户端,再通过数据网从客户端流入Hadoop HDFS集群。
1.3 基础配置
在使用 CBR 进行HBase数据库备份与恢复前,为确保可以正常备份,请您先配置基础项。
基础配置包括:检查管理控制台服务状态、外接客户端接入管理控制台、添加并激活授权码、配置备份存储数据 IP、配置OFS卷、元数据卷、重删卷、存储库备份索引卷以及磁带备份索引卷等。基础信息配置的具体方法参阅《云备份 CBR 实施指导》和《云备份 CBR 公共管理用户指南》。
注意:
l 发起恢复时,可以不需要添加授权码。
l 备份HBase数据库时,需要通过客户端进行备份,故您必须至少准备一个外接客户端。
l 准备客户端前请您先仔细阅读《云备份 CBR 软件兼容性列表》,保证客户端在兼容列表中。
1.4 安装CBR客户端
HBase客户端安装方式与Hadoop文件系统一致,详情请参考《云备份 CBR 客户端软件安装卸载用户指南》第3.16小节。
HBase备份恢复需要两种客户端节点:HDFS客户端节点和HBase客户端节点 ,在创建HBase虚拟客户端时分别进行配置。HBase客户端节点用于执行HBase快照、增量数据转化等管理操作和传输数据文件,一般使用HBase集群中的RegionServer节点,此类型客户端没有并发能力只有故障转换能力,配置1-3个即可;HDFS客户端节点只用于传输数据文件,此类型客户端有并发能力,提高HDFS客户端节点的配置数量能显著提高备份速度,建议酌情增加此客户端数量。
关于HBase集群中RegionServer节点查找可登录Hadoop管理后台查看RegionServer角色所在节点。
注意:
l 若Hadoop发行版本为FusionInsight或MRS,安装客户端前请确保当前终端已导入bigdata_env环境变量,可参考以下命令:source /opt/hadoopclient/bigdata_env,其中/opt/hadoopclient/为FusionInsight或MRS集群客户端的默认安装路径。
l 若Hadoop发行版本为FusionInsight或MRS,安装CBR客户端后,还需要对客户端进行手动配置,详情请参考第1.5节。
1.5 配置CBR客户端
若要备份FusionInsight或MRS发行版本的HBase组件数据,安装CBR客户端后还需要对客户端进行手动配置,以下配置文件位置均位于客户端安装目录/etc/ClientService/AggregateApp目录下。
1.5.1 配置apache_hbase.config
安装CBR客户端后,需要修改位于客户端安装目录/etc/ClientService/AggregateApp目录下apache_hbase.config配置文件,把HBASE_ENV_TYPE=0参数改为对应的版本,例如FusionInsight版本此参数填1,MRS版本此参数填2,注意删除参数前的注释符号“!”。
1.5.2 配置hadooputil.properties
若FusionInsight或MRS集群为普通模式(未开启Kerberos),则安装CBR客户端后不需要配置hadooputil.properties文件;若FusionInsight或MRS集群为安全模式(已开启Kerberos),则安装CBR客户端后需要手动修改位于客户端安装目录/etc/ClientService/AggregateApp目录下hadooputil.properties文件中的三个配置参数。
获取参数前,请确保已执行位于FusionInsight或MRS集群客户端安装目录内的bigdata_env环境变量,可参考以下命令:source /opt/hadoopclient/bigdata_env,其中/opt/hadoopclient/为FusionInsight或MRS集群客户端安装目录路径。
具体参数值获取方法如下:
l util.java.security.krb5.conf
可执行以下命令获取util.java.security.krb5.conf参数对应的值,执行此命令前请确保已导入bigdata_env:
env |grep HBASE_CLIENT_OPTS | grep 'java.security.krb5.conf'
l util.zookeeper.server.principal
可执行以下命令获取util.zookeeper.server.principal参数对应的值,执行此命令前请确保已导入bigdata_env:
env |grep HBASE_CLIENT_OPTS | grep 'zookeeper.server.principal'
l util.java.security.auth.login.config
此参数值对应的文件需要手动创建,在任意目录创建文件jaas.conf,例如/opt/jaas.conf,在文件中添加如下内容:
Client_new {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/huawei/Bigdata/FusionInsight_HD_6.5.1/install/FusionInsight-HBase-1.3.1/keytabs/HBase/hbase.keytab"
principal="hbase/hadoop.hadoop.com"
useTicketCache=false
debug=true;
};
其中,principal 参数值为备份HBase数据库使用的HBase用户名,此用户名应具有HBase管理权限; keyTab参数值为该HBase用户名对应的keytab文件全路径。
若需要适配FusionInsight版本,则jaas.conf文件以Client_new开头。若需要适配MRS版本,则jaas.conf文件以Client开头。
注意:此处的principal和keyTab参数值应分别与创建HBase虚拟客户端时配置的HBase用户名、HBase客户端的keytab路径保持一致。
获取到上述三个参数值后,编辑hadooputil.properties配置文件,分别填写三个参数值并保存。
综上,FusionInsight或MRS发行版本的CBR客户端配置完成,可参考第2章配置HBase虚拟客户端。
1.6 配置HBase集群
1.6.1 配置hbase.master.logcleaner.ttl
HBase增量备份原理是通过HBase WALPlayer工具对上次备份之后产生的HLog文件进行重放,生成对应的HFile文件进行备份。其中HLog中的数据写入HDFS前,HLog文件保存在/hbase/WALs目录下,数据写入HDFS后,HLog文件移动至/hbase/oldWALs下。/hbase/oldWALs目录下的HLog文件由HMaster上的定时任务负责定期清理,如果增量备份过程中检测到上次备份时间之后的HLog文件被清理,为保证数据完整,增量备份会自动转为完全备份,为避免此场景发生,建议修改HLog的最长保留时间,保证HLog文件在两次增量备份之间未被清理,具体参数为hbase.master.logcleaner.ttl。
以CDH版本为例,修改步骤如下。
步骤 1 管理员登录CDH管理后台。
步骤 2 依次单击【群集】>【HBase】>【配置】,进入HBase配置界面。
步骤 3 搜索配置项hbase.master.logcleaner.ttl,修改该配置值后单击【保存更改】按钮。
步骤 4 单击HBse操作栏右方的过期配置重启按钮,进入过期配置界面。
步骤 5 单击【重启过时服务】,审核更改后单击【立即重启】,等待重启结束即可。
注意:修改HLog保留时间需要重启HBase服务,请谨慎操作。设置hbase.master.logcleaner.ttl参数值时请综合考虑增量数据大小、备份策略、占用空间等因素,建议不小于增量备份间隔时间的2倍。例如:若增量备份执行策略为每一天备份一次,建议设置hbase.master.logcleaner.ttl为2天。
----结束
1.6.2 配置yarn-site.xml
若Hadoop集群开启了Kerberos,需要保证HDFS配置目录下存在yarn-site.xml配置文件,否则会导致增量备份失败。若HDFS配置目录下不存在yarn-site.xml,需要手动把yarn-site.xml复制到HDFS配置文件目录下。以CDH版本为例,执行下面的命令:
> cp /etc/hadoop/conf.cloudera.yarn/yarn-site.xml /etc/hadoop/conf.cloudera.hdfs/
其中/etc/hadoop/conf.cloudera.hdfs/为配置虚拟客户端时需要填写的Hadoop config目录。
1.7 限制性列表
l 待备份的HBase命名空间名称+表名称不能超过237个字符。
l 客户端环境的JDK版本必须为jdk1.8及以上版本。
l 请确保HBase参数中保留HLogs的最长时间(hbase.master.logcleaner.ttl)大于两次增量备份的间隔,否则可能会产生增量备份数据丢失的风险。
l 不支持备份恢复HBase的ACL权限信息(仅支持对表数据备份恢复,恢复后表的ACL权限丢失)。
l 手动删除HDFS上oldWALs目录(如/hbase/oldWALs)下的文件,可能会导致增量备份的数据不完整。
l HBase备份/恢复过程中,手动删除任务产生的HDFS临时文件,可能会导致备份/恢复的数据不完整,临时目录包括/tmp/FOR_HBASE_FULL_BAKCUP_xxx、/tmp/FOR_HBASE_INCR_BAKCUP_xxx、/tmp/FOR_HBASE_RESTORE_xxx。
l 不支持两个或多个任务同时恢复同一数据源到同一HBase数据库,可能会导致恢复失败。
l 不支持HBase跨大版本恢复数据,如HBase2.x.x版本的备份数据恢复至HBase1.x.x版本。
2 管理HBase虚拟客户端
2.1 新建HBase虚拟客户端
请确保已按照1.1.2 Hadoop集群信息收集以及1.1.3 config目录查询章节查询并获取新建HBase虚拟客户端时所需配置的各项参数。
请您根据以下操作进入新建HBase虚拟客户端界面:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【资源】→ 【客户端】,进入客户端管理页面。单击【新建虚拟客户端】→ 【HBase虚拟客户端】。
步骤 3 在弹出的界面输入客户端名称、选择组、HDFS配置和HBase配置;
在对话框中,根据要求输入如下参数:
1. 客户端名称:按照格式要求输入自定义的客户端名称。
2. 选择组:选择创建HBase虚拟客户端后所属的组。
3. IP/URL:可选择NameNode IP或者HDFS URL,若选择NameNode IP需要输入IP和和端口号,若选择HDFS URL只需要输入URL。建议选择HDFS URL选项,并保持URL为默认的default,设置为default会自动获取客户端配置文件相关信息。若为FusionInsight或MRS集群客户端建议选择URL配置方式。
4. NameNode IP - IP :选择NameNode IP时需要输入 Hadoop集群的NameNode IP。
5. NameNode IP - 端口号: 选择NameNode IP时需要输入 Hadoop集群的端口号。
6. HDFS URL :选择HDFS URL时需要输入URL,可保持默认值default,也可输入HDFS的fs.defaultFS配置项。
7. HDFS用户名:输入具有HDFS管理权限的用户名,需加入supergroup组,建议使用最高权限用户名。
8. HDFS客户端:单击【选择】勾选需要添加的HDFS客户端。
9. HDFS客户端 - Keytab路径:若集群开启了Kerberos,则需要输入HDFS用户名对应的Keytab文件全路径,否则不需要输入。
10. Hadoop config目录:输入HBase客户端上的Hadoop配置文件目录。
11. HBase config目录:输入HBase客户端上的HBase配置文件目录。
12. HBase用户名:输入具有HBase管理权限的用户名,建议使用HBase用户。
13. HBase客户端:单击【选择】勾选需要添加的HBase客户端,HBase客户端可选列表为已选择的HDFS客户端列表。
14. HBase客户端 - Keytab路径:若集群开启了Kerberos,则需要输入HBase用户名对应的Keytab文件全路径;否则不需要输入。
步骤 4 确认无误后,单击【创建】按钮完成操作。
所有信息必须输入正确,输入错误单击创建会抛错。
2.2 编辑HBase虚拟客户端
HBase虚拟客户端创建成功后,可以进行修改,如修改NameNode IP、变更客户端等,修改成功后下次备份或恢复生效。您可根据以下操作编辑HBase虚拟客户端:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【资源】→ 【客户端】,进入客户端管理页面。
步骤 3 选择已创建的虚拟客户端,单击【编辑】,修改需要更改的内容。
步骤 4 确认无误后,单击【修改】,即可编辑成功。
注意:集群主备NameNode节点漂移后,基于NameNodeIP方式创建的虚拟客户端将无法连接至HDFS,需要编辑虚拟客户端,修改NameNodeIP为漂移后的主NameNodeIP后,才能正常备份。此时,建议您选择URL方式创建虚拟客户端,集群主备NameNode节点漂移后,备份任务将不受影响。
----结束
2.3 删除HBase虚拟客户端
您不想再使用该HBase虚拟客户端时,可以删除该Hadoop虚拟客户端。具体操作步骤如下:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【资源】→ 【客户端】,进入客户端管理页面。
步骤 3 选择需要删除的虚拟客户端,单击【删除】按钮,系统弹出“警告”对话框。
步骤 4 请您在确认删除的情况下,在文本框中输入“YES”并单击【删除】完成操作。
----结束
3 HBase定时备份
3.1 关于备份
在 CBR 中,备份是一种任务驱动型进程,执行备份之前,您需要先新建备份任务。备份任务是备份需求的一个配置集合单元,备份任务定义了备份内容、备份选项和备份数据存放的位置等。备份任务的新建操作,请您参考新建备份任务;备份任务新建成功后您可以对其进行管理,具体内容请参考3.3 管理备份任务管理备份任务。
首次备份时,任务将进行全量备份,后续可以根据您的需求设置备份类型为完全备份、增量备份。更多内容,请参考3.3.2 启动备份任务。
3.1.1 HBase定时备份支持功能
表3-1 HBase定时备份支持功能
功能 |
子功能 |
支持 |
备注 |
备份 |
完全备份 |
√ |
备份粒度:整库、指定命名空间、指定表 |
增量备份 |
√ |
||
永久增量备份 |
√ |
||
数据源自动发现 |
√ |
||
数据保留策略 |
按时间保留 |
√ |
- |
按副本数保留 |
√ |
- |
|
按备份策略的备份周期设置副本保留策略 |
√ |
- |
|
传输与存储加密 |
- |
√ |
- |
数据压缩 |
- |
√ |
- |
流量控制 |
- |
√ |
- |
重复数据删除 |
- |
√ |
- |
备份自动重试 |
- |
√ |
- |
强制数据保留 |
- |
√ |
- |
备份数据一致性校验 |
- |
√ |
- |
远程复制 |
- |
√ |
- |
告警 |
- |
√ |
- |
日志 |
- |
√ |
- |
3.1.2 备份方式
CBR 备份 HBase数据库的备份方式支持完全备份、增量备份。
l 完全备份
将选定的数据源完全备份到指定目的地的备份集中。每次执行时,它不会根据最新的变动进行备份,而是直接将所有的数据备份到备份介质中,并产生一个时间点,用于记录备份的内容。
l 增量备份
仅备份相比上一次完全备份或增量备份新增的数据,同时产生相应的时间点。在尚未进行完全备份的情况下,进行增量备份时,会自动转为完全备份;若上次备份的时间点不完整,或者检测到有增量操作对应的日志文件被清除,为避免数据丢失,也会自动转为完全备份。
3.1.3 数据保留策略
CBR 为您提供以下三种数据保留策略:
l 数据保留期限:超过设置时间的副本将被自动清理。
l 保留副本个数:超过设置个数的副本将被自动清理。
l 按备份策略的备份周期设置副本保留策略:与备份策略结合使用,根据不同的备份策略设置不同的副本保留数。
3.1.3.1 新建备份数据保留策略
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】,进入“备份数据保留策略”界面。
步骤 3 在当前界面,单击【新建】按钮,系统弹出“新建备份数据保留策略”对话框。
步骤 4 在对话框中,根据要求配置如下参数:
1. 名称:输入备份数据保留策略的名称。
2. 数据保留策略:默认关闭,须开启后才能继续配置。
l 数据保留期限:默认保留 1 年的备份副本,即从使用该策略开始到 1 年后,这期间产生的副本将被保留,超过 1 年的副本将被自动清理。
数据保留期限配置参数范围为 1~999;可以选择年、月、周、天为单位。
l 保留副本个数:默认保留 2 个副本,即同一备份任务的副本超过 2 个后,最旧的副本将被自动清理。保留副本个数配置参数范围为 1~1024。
l 按备份策略的备份周期设置副本保留策略:
− 如果备份策略是按天设置,则默认保留 30 个副本。
− 如果备份策略是按周设置,则默认保留 24 个副本。
− 如果备份策略是按月设置,则默认保留 12 个副本。
− 如果备份策略是按年设置,则默认保留 4 个副本。
− 按照备份策略的备份周期所有参数配置范围均为 1~99999。
− 当任务使用对应备份周期的备份策略后,才使副本保留策略生效。
− 未勾选复选框,则默认保留所有副本。
− 勾选复选框,但任务没有使用此备份周期的备份策略,则保留自动发起的所有副本。
例如:启用 “按年备份策略”,但任务使用的备份策略没有年度备份策略,则保留所有备份策略自动产生的全部副本。
− 如果某一个备份周期的备份策略存在多个,则保留副本数为此类备份周期的所有备份策略产生的副本累加。
例如:任务关联了 4 个年度备份策略,则最终将保留 1 年内的 4 个副本。
l 保留副本个数,开启永久增量的备份任务,“副本”指的是所有备份副本;未开启永久增量的备份任务,“副本”仅指完全备份副本。
l 按备份策略的备份周期设置副本保留策略,仅控制由备份策略自动发起的副本总数,不包含手动发起的副本;如果任务已使用备份策略,但此处未开启相同备份周期的副本保留策略,则默认保留备份策略产生的所有副本;保留副本均为完全备份副本。
步骤 5 确认无误后,单击【确定】按钮完成操作。
3.1.3.2 关联/移除备份数据保留策略
备份数据保留策略新建完成后,您必须将其应用到备份任务上才可生效。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据备份】→【任务】,进入“任务”界面。
步骤 3 在当前界面,选中一个或多个状态为“未启动”的任务,单击【策略】→【添加数据保留策略】,系统弹出“添加备份数据保留策略”对话框。
步骤 4 在对话框中,选择一个适合该任务的数据保留策略。如果任务之前已经配置过其他策略,这次新的策略将替代旧的策略重新生效。
步骤 5 确认无误后,单击【确定】按钮完成操作。
备份任务添加策略后,备份数据保留策略即刻生效。
步骤 6 如果您想要移除备份数据保留策略,请在 “任务” 界面,选中一个或多个已配置策略且状态为 “未启动”的任务,单击【策略】→【移除备份数据保留策略】,系统弹出“提示”对话框。
步骤 7 请您仔细阅读提示内容,确认无误后,单击【确定】按钮完成操作。
备份任务移除策略后,数据保留策略即刻失效。
----结束
3.1.3.3 编辑备份数据保留策略
如果您需要对当前已有的备份数据保留策略相关配置做修改,您可执行以下操作编辑备份数据保留策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】,进入“备份数据保留策略”界面。
步骤 3 在当前界面,选中一条备份数据保留策略,单击【编辑】按钮,系统弹出“编辑备份数据保留策略”对话框。
步骤 4 在对话框中,您可以关闭数据保留策略,也可以修改数据保留策略条件。确认无误后,单击【确定】按钮完成操作。
----结束
3.1.3.4 删除备份数据保留策略
如果您不再需要某个备份数据保留策略,您可以执行以下操作删除数据保留策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】,进入 “备份数据保留策略” 界面。
步骤 3 在当前界面,选中一条或多条备份数据保留策略,单击【删除】按钮,系统弹出“提示”对话框。
步骤 4 确认无误后,单击【确定】按钮完成操作。
----结束
3.1.3.5 复制备份数据保留策略
如果您想复用某个策略,并修改个别参数时,为了简便操作,您可以复制数据保留策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】,进入“备份数据保留策略”界面。
步骤 3 在当前界面,选中一条数据保留策略,单击【复制】按钮,系统弹出“复制备份数据保留策略”对话框。
步骤 4 在对话框中,根据要求输入备份数据保留策略的名称。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
3.1.4 备份策略
3.1.4.1 新建备份策略
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,单击【新建】按钮,系统弹出“新建备份策略”对话框。
步骤 4 在对话框中,根据要求配置如下参数:
1. 备份策略名:输入备份策略的名称。
2. 备份周期:默认为每1天,即每天发起一次备份。
− 当备份周期为天,支持的配置参数范围为1~365。
− 当备份周期为周,默认为每周日发起备份,支持选择周一~周日且支持多选。
− 当备份周期为月,默认每月1日发起备份,支持的配置参数范围为1~31。您可以选择“若当月无选定日期则在最后一天触发”。
− 当备份周期为年,默认每年1月1日发起备份,支持选择具体日期发起备份。
3. 重复发起:默认不开启,开启该项,则在任务第一次发起后,系统将按照所设定的持续时间和频率进行重复发起。
重复发起遵循以下原则:
− 持续时间和频率均支持以分钟或小时为单位。
− 如果以分钟为单位,持续时间的配置参数范围为2~59,频率的配置参数范围为1~58。
− 如果以小时为单位,持续时间的配置参数范围为2~24,频率的配置参数范围为1~23。
− 支持持续时间和频率单位不同,但频率必须小于持续时间。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
3.1.4.2 启用/禁用备份策略
备份策略新建完成后,您必须将其应用到备份任务上才可以生效。如果应用了某备份策略的任务不再需要此策略,您也可以选择移除。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据备份】→【任务】,进入“任务”界面。
步骤 3 在当前界面,选中一个或多个任务,单击【策略】→【备份策略】,系统弹出“备份策略”对话框。
步骤 4 在对话框中,单击【添加】按钮,系统弹出“添加”对话框。
步骤 5 在对话框中,选择一个备份策略并选择合适的备份方式,如完全备份或增量备份;选择该策略发起的时间。
步骤 6 确认无误后,单击【确定】按钮回到“备份策略”对话框。
步骤 7 如果需要添加多个备份策略,请再次单击【添加】按钮。
步骤 8 在对话框中,选择一个或多个备份策略,单击【启用】按钮,原来“禁用”状态的策略变为“启用”。
步骤 9 如果您不希望备份策略再次应用于此备份任务,您可以单击【禁用】按钮。您另外可以删除列表中的备份策略。
备份策略禁用后,将即刻失效。
----结束
3.1.4.3 编辑备份策略
如果您需要对当前已有的备份策略相关配置做修改,您可以执行以下操作编辑备份策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条备份策略,单击【编辑】按钮,系统弹出“编辑备份策略”对话框。
步骤 4 在对话框中,您可以修改备份周期和重新设置重复发起。名称暂不支持修改。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
3.1.4.4 复制备份策略
如果您想复用某个备份策略,并修改个别参数时,为了简便操作,您可以复制备份策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条备份策略,单击【复制】按钮,系统弹出“复制备份策略”对话框。
步骤 4 在对话框中,根据要求输入备份策略的名称。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
3.1.4.5 导出/导入备份策略
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条或多条备份策略,单击【导出】按钮,备份策略将以“.xls”格式保存。
步骤 4 导出后的表格内容如下。
l name:备份策略的名称。
l type:备份策略的类型。
l needInterval:重复发起功能,开启显示为“1”,不开启显示为“0”。
l duration:重复发起中的持续时间。
l durationUnit:持续时间的单位,单位为分钟显示为“1”,单位为小时显示为“2”。
l frequency:重复发起中的频率。
l frequencyUnit:频率的单位,单位为分钟显示为“1”,单位为小时显示为“2”。
l params:备份周期选项的参数值。
l auther:新建该备份策略的用户。
l createdTime:创建该策略的时间。
l updateTime:更新该策略的时间。
步骤 5 如果需要导入策略,请您在本地先根据下载的文档格式编辑好策略的参数。确认无误后,在管理控制台的“备份策略”界面,单击【导入策略】按钮。系统弹出“导入备份策略”对话框。
步骤 6 在对话框中,单击【浏览】按钮,选择需要导入的策略。确认无误后,单击【确定】按钮完成操作。
步骤 7 导入成功后,“备份策略”界面将显示导入的策略。
----结束
3.1.4.6 删除备份策略
如果您不再需要某备份策略,您可以执行以下操作删除备份策略。
步骤 1 租户或操作员登录控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条或多条备份策略,单击【删除】按钮,系统弹出“提示”对话框。
步骤 4 仔细阅读警告内容,确认无误后,单击【删除】按钮完成操作。
----结束
3.2 新建备份任务
3.2.1 新建备份任务步骤
第一步 打开新建备份任务向导
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“任务”工作区新建备份任务。
步骤 4 “任务”工作区单击“新建”>“数据级备份任务”如所示,打开新建备份任务向导。
第二步 选择保护对象和客户端
步骤 1 进入新建备份任务页面第一页,“请选择要保护的客户端” → 选择创建好的HBase虚拟客户端。“请选择要保护的应用类型”会默认选择【HBase数据库】。
步骤 2 单击下一步进入向导2。
第三步 选择要备份的数据源
步骤 1 在向导2中,展开并选择数据源,单击“+”展开数据源,HBase定时备份任务支持自动发现数据源的功能,第一层为整库,第二层为命名空间,第三层为表,根据需要选择需要备份的命名空间或表。
步骤 2 单击下一步进入向导3。
第四步 选择备份介质并配置备份选项
步骤 1 在向导3中,选择“备份介质”,然后根据需要设置是否开启高级功能选项。
步骤 2 “选择介质”选择“OFS”。
步骤 3 “备份选项”配置永久增量备份、传输和存储加密、数据压缩、重复数据删除、备份数据一致性校验、流量控制、备份自动重试以及强制数据保留。各高级功能选项说明如下:
【永久增量备份】默认不开启,执行增量备份操作才生效,开启了永久增量备份,每一次增量备份都会进行一次时间点合成,形成一个新的永久增量时间点。
【传输和存储加密】默认开启并启用AES256加密算法,可选择启用SM4加密算法,该功能可以和【重复数据删除选项】同时开启。
【数据压缩】默认不开启,开启该选项后默认启用快速压缩,可选择启用强力压缩。选择快速压缩,具有更快的压缩速度。选择强力压缩,具有更高的压缩率。
【重复数据删除】默认为不开启,开启该选项可以启用源端重复数据删除的功能,具体可参考《云备份 CBR 定时数据保护重复数据删除用户指南 01》获取更多详细信息。
【备份数据一致性校验】默认为不开启,开启该选项可以启用备份数据一致性校验的功能,具体可参考《云备份 CBR 备份数据一致性校验用户指南 01》获取更多详细信息。
【流量控制】默认不开启,开启后限制代理客户端传输数据的速度。
【强制数据保留】默认不开启,开启后保留时长内的数据无法被清理。
【备份自动重试】默认开启且默认自动重试最大次数为3,重试等待时间3分钟,开启后若备份失败则按照配置会自动重新发起备份。
步骤 4 单击下一步进入向导4。
第五步 配置任务名称和任务备注
步骤 1 在向导4中,配置“任务名称”和“任务备注”。
步骤 2 “任务名称”后方的输入框输入自定义的任务名称。
步骤 3 “任务备注”后方的输入框输入自定义的任务备注。
第六步 完成新建备份任务向导
步骤 1 向导4中,“任务名称”和“任务备注”配置完成后,在“任务信息”界面中完成备份任务的配置。
步骤 2 任务信息确认,可选择任务生成立即执行。单击确认会弹出新建任务成功。
----结束
3.2.2 监控
任务发起备份后,您可以在“监控”工作区观察任务的实时执行情况,请您根据以下操作查看任务的执行情况:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“监控”工作区查看任务的实时信息。
步骤 4 “监控”界面可以直接观察任务的执行情况,也可以单击任务后方的“详情”进一步观察任务和客户端的执行情况。
步骤 5 “详情”界面分为二个部分“执行概要”以及“执行输出”,您可以在“执行概要”以及“执行输出”之间切换以查看具体信息。
步骤 6 “详情”界面单击“收起”可以收起“详情”。
----结束
3.2.3 历史记录
备份任务执行结束后,您可以进入“历史记录”工作区查看任务最终的执行情况。
3.2.3.1 查看历史记录
请您根据以下操作查看历史记录:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“历史记录”工作区查看历史记录。
步骤 4 “历史记录”界面可以直接观察任务的执行结果,也可以单击任务后方的“详情”进一步查看任务的执行结果。
步骤 5 “详情”界面分为两个部分“执行概要”以及“执行输出”,您可以在两个部分之间切换以查看具体信息。
步骤 6 当您进入“详情”界面的“执行输出”部分时,为了方便您查看执行输出,您可以单击“导出”,将执行输出导出到本地进行查看。
步骤 7 单击“导出”后,您可将历史记录中备份任务的执行输出导出为TXT、XLS或PDF,请您根据自己的需求选择导出格式。
----结束
3.2.3.2 删除历史记录
为了避免任务历史记录数量越来越多,给您带来查询性能损耗,建议您适当的进行历史记录的删除,您将有两种删除历史记录有方式通过历史记录删除策略工具删除,具体操作详见《云备份 CBR 工具使用指导》和手动删除历史记录,其操作如下:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“历史记录”工作区删除历史记录。
步骤 4 勾选需要删除的历史记录,单击“删除”,进入“警告”界面。
步骤 5 “警告”界面,单击“删除”,退出“警告”界面。
历史记录删除成功后,“历史记录”界面不能再看到删除的历史记录。
支持批量删除历史记录。
----结束
3.3 管理备份任务
3.3.1 查看备份任务
请您根据以下操作查看备份任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“任务”工作区查看备份任务详情。
步骤 4 “任务”工作区,单击备份任务后方的“详情”,打开“详情”界面。
步骤 5 “详情”界面分为四个部分“基本信息”、“选项”、“数据源”以及“策略”,请您可以根据自己的需求进行查看。
----结束
3.3.2 启动备份任务
启动备份任务即对任务发起备份,将备份任务的数据源备份到存储服务器中,您可以有两种启动方法:
l 添加备份策略,自动启动,具体操作参阅3.1.4 备份策略。
l 手动启动,操作步骤如下:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“任务”工作区启动备份任务。
步骤 4 “任务”工作区选中备份任务,单击“启动”,打开“启动任务”界面。
步骤 5 “启动任务”界面中,单击“备份方式”下拉框,选择您需要的备份方式:完全备份、增量备份。
步骤 6 “执行备注”后方的输入框输入执行备份,然后单击“启动”,退出“启动任务”界面。
注意:若单击【启动】出现“Hadoop备份未授权”的错误,请联系管理员添加Hadoop备份授权。
步骤 7 任务启动成功后,您可以在“任务”工作区看到任务的状态变为“正在运行”,您可以进入“监控”工作区实时观察任务执行情况,具体请参阅3.2.2 监控。
----结束
3.3.3 停止备份任务
您需要停止备份任务时,请您执行以下操作:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“任务”、“监控”以及“历史记录”,请您在“监控”工作区停止备份任务。
步骤 4 “监控”工作区选中备份任务,单击“停止”,打开“警告”视图。
步骤 5 “警告”视图中,单击“停止”,退出“警告”界面。
步骤 6 请稍等几秒钟,您会看到单击停止的任务已不在“监控”工作区,此时您可以进入“历史记录”工作区,查看到任务运行结果为已停止。
----结束
3.3.4 删除备份任务
当您不再需要备份任务时,请您根据以下操作删除备份任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”视图分为三个工作区“任务”、“监控”以及“历史记录”,请您在“任务”工作区删除备份任务。
步骤 4 “任务”工作区勾选备份任务,单击“删除”,打开“警告”界面。
步骤 5 “警告”界面的输入框输入“YES”,然后单击“删除”,退出“警告”界面。
----结束
3.3.5 清理备份数据
若您想要新建清理备份数据任务,您必须保证备份数据的存在。请您根据以下操作新建数据清理任务:
第一步 启动新建清理任务向导
请您根据以下操作启动新建数据清理任务向导:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据清理】,进入“数据清理”界面。
步骤 3 在当前界面,单击【新建】按钮,启动新建清理备份数据任务向导。
第二步 选择要清理的备份任务
步骤 1 在向导1中,选择您要清理任务所在的“备份介质”以及对应的“备份任务”。
步骤 2 选择备份介质OFS。
步骤 3 单击【选择】按钮,进入选择备份任务弹窗中选择备份任务。
步骤 4 “备份介质”与“备份任务”设置完成后,单击【下一步】按钮。
第三步 选择要清理的数据
步骤 1 在向导2中,选择需要清理的副本。
您可以选择清理全部副本。
您也可以选择清理指定副本。
步骤 2 “请选择要清理的副本”设置完成后单击【下一步】按钮。
第四步 填写任务备注
步骤 1 在向导3中,配置“任务名称”和“任务备注”。
1. “任务名称”后方为默认任务名称。
2. “任务备注”后方输入框输入自定义的任务备注。
3. “任务名称”与“任务备注”设置完成后,单击【完成】按钮。
第五步 使用向导完成操作
步骤 1 向导3中“任务名称”和“任务备注”配置完成后,在“数据清理信息确认“界面中完成清理备份数据任务的配置。
步骤 2 在向导3中单击完成,打开“数据清理信息确认“界面。如果您确认删除选中的备份任务数据,请在在输入框中输入“YES”,单击【确定】按钮。此处区分大小写,必须填大写半角英文字母。
步骤 3 清理备份数据任务新建成功后,您可在“数据清理”界面查看新增的清理备份数据任务记录。
----结束
4 HBase定时恢复
4.1 关于恢复
在 CBR 中,恢复是一种任务驱动型进程。执行恢复之前,您需要先新建恢复任务。恢复任务是恢复需求的一个配置集合单元。恢复任务指定了从哪个存储恢复数据、恢复目标平台以及恢复虚拟机的配置等,请参阅4.2 新建恢复任务进行恢复任务的新建,恢复任务新建成功后您可对其进行管理,具体参阅4.3 管理恢复任务管理恢复任务。
表4-1 HBase定时恢复支持功能
功能 |
子功能 |
支持 |
备注 |
恢复 |
原机恢复 |
|
恢复粒度:整库、指定命名空间、指定表 |
异机恢复 |
|
||
覆盖、跳过或重命名 |
|
||
原位置恢复 |
|
||
异位置恢复 |
|
4.2 新建恢复任务
CBR 中,恢复是一种任务驱动型进程,执行恢复之前,您需要先新建恢复任务,请您根据以下操作新建恢复任务:
第一步 打开新建恢复任务向导
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据恢复】→【恢复备份数据】,进入“恢复备份数据”界面。
步骤 3 在当前界面,单击【新建】按钮,进入新建恢复任务向导界面。
第二步 选择备份介质与要恢复的数据
步骤 1 在向导1中,请依次选择备份介质和需要恢复的备份任务。
1. “请选择备份介质”选择本地“OFS”。
2. 从“备份任务”中选中一条HBase备份数据。
第三步 选择时间点和要恢复的数据
步骤 1 在向导2中,选择“选择时间点”,然后选择“请选择要恢复的数据”。
步骤 2 单击“选择时间点”后方的【选择】按钮,打开“请选择时间点”对话框。在对话框中选择一个需要恢复的时间点。
步骤 3 时间点选择成功后,您会看到“选择时间点”后方的方框中展示了您选择的时间点,且“请选择要恢复的数据”下方展示数据源tree。
步骤 4 依次展开“请选择要恢复的数据”下方的数据源tree,勾选需要恢复的数据。根据需要选择添加要过滤的数据。
第四步 选择恢复方式并进行恢复配置
步骤 1 在向导3中,选择“恢复目的地”并配置“恢复选项”,若第二步只选择部分命名空间或表,第三步界面中会触发目标命名空间配置项,可以给指定命名空间下所有表或指定表配置要恢复的命名空间。
步骤 2 单击【下一步】按钮。
第五步 配置任务名称和任务备注
步骤 1 在向导4中,配置“任务名称”和“任务备注”。
步骤 2 “任务名称”默认已配置,不支持修改。
步骤 3 “任务备注”后方的输入框输入自定义的任务备注。
第六步 完成新建备份任务向导
步骤 1 向导4中,“任务名称”和“任务备注”配置完成后,在“任务信息确认”界面中完成恢复任务的配置。
步骤 2 向导4中,单击“完成”,打开“任务信息确认”界面。
步骤 3 默认已勾选 “任务生成后立即执行”,输入框中填写“YES”,单击“确定”,关闭向导。
步骤 4 恢复任务新建成功后,您可以看到“恢复备份数据”工作区新增一条恢复任务记录。
----结束
4.3 管理恢复任务
4.3.1 观察和查看恢复任务
恢复任务默认新建成功立即执行,请您根据以下操作观察和查看恢复任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据恢复】→【恢复备份数据】,进入“恢复备份数据”界面。
步骤 3 “数据恢复”界面分为两个工作区“恢复备份数据”和“恢复归档数据”,请您在“恢复备份数据”工作区新建恢复任务。
步骤 4 “恢复备份数据”工作区,单击恢复任务后方的“详情”,打开“详情”界面。
步骤 5 “详情”界面分为三个部分:“任务详情”、“执行概要”以及“执行输出”,您可以根据自己的需求进行查看。
步骤 6 当您进入“详情”界面的“执行输出”部分时,为了方便您查看执行输出,您可以单击“导出”,将执行输出导出到本地进行查看。
步骤 7 单击“导出”后,您可将恢复备份数据历史记录的执行输出导出为TXT、XLS和PDF,请您根据自己的需求选择导出格式。
----结束
4.3.2 停止恢复任务
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据恢复】,打开“数据恢复”界面。
步骤 3 “数据恢复”界面分为两个工作区“恢复备份数据”和“恢复归档数据”,请您在“恢复备份数据”工作区停止恢复任务。
步骤 4 “恢复备份数据”工作区选中恢复任务,单击“停止”,打开“警告”界面。
步骤 5 “警告”界面中,单击“停止”,退出“警告”界面。
步骤 6 请稍等一分钟,您将会查看到任务运行结果为已停止。
----结束
4.3.3 删除恢复任务
当您不想保留恢复任务历史记录时,您可以执行以下操作删除恢复任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据恢复】,打开“恢复备份数据”界面。
步骤 3 “恢复备份数据”界面勾选需要删除的恢复任务,单击“删除”,进入“删除”界面。
步骤 4 “删除”界面,输入框输入“YES”,单击“删除”,退出“删除”界面。
步骤 5 恢复任务删除成功后,“恢复备份数据”界面不能再看到删除的恢复任务。
----结束
l 支持批量删除恢复任务;
l 任务运行结束后才能执行删除操作。
5 典型场景和问题
5.1 Hadoop集群开启Kerberos时如何配置客户端
创建HBase虚拟客户端时有两种客户端:HDFS客户端和HBase客户端,当Hadoop集群开启Kerberos时,需要为每个HDFS客户端配置HDFS用户的keytab路径,而每个HBase客户端则需要配置HBase用户的keytab路径,每个客户端单独配置,可以放在不同的路径下。如何获取HDFS用户和HBase用户的keytab文件可参考下面说明。
以CDH版本为例:
l 获取用户的keytab文件
登录集群任意节点认证Kerberos管理员用户后输入kadmin命令,或登录集群kadmin节点输入kadmin.local命令进入Kerberos,然后使用ktadd命令导出用户的keytab文件。其中/tmp/hbase.keytab即为导出的文件地址,注意添加-norandkey参数防止用户密码被更改,配置HBase虚拟客户端时,需为HBase客户端配置此路径。
注意:所有客户端都需使用相同的HDFS用户或HBase用户导出的keytab文件。
5.2 无代理模式场景下备份恢复HBase数据库
如果您需要将客户端软件安装在Hadoop集群之外的其他Linux主机上,可以使用无代理模式备份HBase数据库,此时对无代理客户端有如下要求:
1. 无代理客户端操作系统是HBase定时备份已兼容的操作系统版本,详情请参考《云备份 CBR 软件兼容性列表》。
2. 在无代理客户端上安装jdk并加入环境变量,安装路径与目标集群保持一致。
3. 无代理客户端与Hadoop集群网络互通,且已添加Hadoop集群中各节点域名映射。
4. 无代理客户端需要与目标集群保持时间同步,建议加入目标集群NTP系统。
5. 无代理客户端已安装与目标Hadoop集群相同版本的Hadoop软件(安装客户端时需要填写相关lib包路径)。
6. 若目标集群已开启Kerberos,无代理客户端需要加入目标集群Kerberos系统,并能认证通过。
7. 同步目标集群HBase资源文件及配置文件至无代理客户端。
配置完成后要求无代理客户端使用hdfs命令能远程访问目标集群HDFS文件系统,命令如下:
确保以上无误后,您可以参考第1.4章节安装客户端,并参考第3、4章节配置备份任务,若能备份成功则说明无代理客户端配置成功。
5.3 如何避免增量备份频繁地自动转为完全备份
增量备份自动转化为完全备份一般有以下两种情况:
l 上次备份后oldWALs下的HLog文件被清理
若HLog清理时间间隔参数hbase.master.logcleaner.ttl配置不合理,两次增备之间产生的HLog日志有可能会被自动清理,为保证备份数据完整,此时增量备份会自动转为完全备份,可参考1.6.1配置hbase.master.logcleaner.ttl参数避免此问题。
l 上次备份的时间点不完整
上一次备份时若某些表备份失败,备份结果为变为部分成功,此时认定此次备份产生的时间点不完整,此时若再次发起增量备份,为保证备份数据完整,增量备份会自动转为完全备份。此种情况下应排查这些表备份失败的原因,若是表自身有问题导致无法备份,应编辑备份任务修改数据源,把这些表剔除备份数据源外,保证下次备份所有表都能备份成功,再次发起增量备份即可正常。
5.4 备份存储空间容量较小的情况下,备份任务应如何配置
如果您遇到如下场景:
您的HBase数据库备份数据占用空间越来越大,而管理保存数据的成本及数据中心空间和能耗也变得越来越严重,随着时间的推移冗余数据越来越多时,您迫切希望缓解存储系统的空间增长,缩减数据占用空间,降低成本,最大程度地利用已有资源。
此时,您可以在创建任务时,进行以下配置:
l 开启重复数据删除
您可以参考《云备份 CBR 定时数据保护重复数据删除用户指南》使用重复数据删除功能,创建重删卷、指纹池以及指纹库,参考3.2.1新建备份任务步骤将HBase备份任务开启重复删除功能,参考3.2.3历史记录章节查看备份任务的执行概要获悉备份任务的重删率。开启重删功能后,备份任务的首次备份重删率大概在0%~70%,多次备份的重删率大概在70%~100%。
l 开启数据压缩
您可以参考3.2.1新建备份任务步骤章节,将备份任务的压缩选项开启,选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度;强力压缩具有更高的压缩率。数据压缩会占用一定的CPU资源,建议根据您的环境需求选择相应的数据压缩方式。您可参考3.2.3历史记录章节查看备份任务的执行概要获悉备份任务的实际备份数据量。开启快速压缩时,备份任务的数据压缩比在1~2左右;开启强力压缩时,备份任务的数据压缩比在1~3左右。
l 为备份任务配置数据保留策略
您可以参考3.1.3数据保留策略章节配置数据保留策略。系统将根据您的配置,在每次任务执行时删除您不需要的数据。缩减数据占用空间的压力。
注意:重复数据删除和数据压缩均会占用系统CPU和内存资源,请在确保服务器系统资源充足的情况下,进行以上特性功能的开启。
5.5 在网络资源紧张的情况下,备份任务应如何配置
若您的备份数据网络通道资源紧张,您希望在此场景下继续HBase的备份任务。
此时,您可以在创建任务时,进行以下配置:
l 设置流量限制,限制备份的速度
您可以参考3.2.1新建备份任务步骤将HBase备份任务开启流量限制功能,参考3.2.3历史记录章节查看备份任务的执行概要获悉备份任务的传输速率。
l 设置合理的备份策略,使大容量数据的备份任务在业务不繁忙的时间段进行
您可以参考3.1.4备份策略章节创建备份策略,根据业务需要设置合理的备份策略。
l 开启重复数据删除
您可以参考《云备份 CBR 定时数据保护重复数据删除用户指南》使用重复数据删除功能,创建重删卷、指纹池以及指纹库,参考3.2.1新建备份任务步骤将HBase备份任务开启重复删除功能。
l 开启数据压缩
您可以参考3.2.1新建备份任务步骤章节,将备份任务的压缩选项开启,选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度;强力压缩具有更高的压缩率。数据压缩会占用一定的CPU资源,建议根据您的环境需求选择相应的数据压缩方式。
注意:重复数据删除和数据压缩均会占用系统CPU和内存资源,请在确保服务器系统资源充足的情况下,进行以上特性功能的开启。
5.6 如何为HBase备份/恢复配置多客户端并发来提升备份/恢复效率
HBase数据库备份方案可以分为两个大步骤,第一步是HBase客户端进行HBase相关操作(快照、转换增量数据WALs文件)获取待备份的HFile文件列表,第二步是使用Hadoop文件系统模块备份这些HFile文件,所以HBase也可以配置多个HDFS客户端来提升备份/恢复效率,具体可参考《云备份 CBR Hadoop 文件系统备份恢复用户指南》4.6小节。
注意:HBase模块备份以Hadoop文件系统模块作为基础,其他典型场景和问题可参考《云备份 CBR Hadoop 文件系统备份恢复用户指南 01》第4章节。
6 常见问题处理
6.1 创建HBase虚拟客户端FAQs
l Q1. 创建虚拟客户端时报错:Can not create a Path from a null string。
【问题原因】Hadoop config目录或HBase config目录填写错误。
【解决方法】修改Hadoop config目录或HBase config目录,确保每个HBase客户端都有对应的正确目录。
6.2 HBase备份FAQs
l Q1. 备份过程中报错:数据源需要备份的对象为空。
【问题原因】HBase待备份命名空间中没有可备份的表。
【解决方法】检查HBase备份任务配置的命名空间是否为空,配置正确的数据源。
l Q2. 增量备份过程中报错:无效的repsond消息。
【问题原因】HBase增量备份单个表的增量数据较大,转化WALs日志文件的MapReduce任务超时。
【解决方法】酌情增加所有HBase客户端上HBase配置文件中INCR_WALS_TIME_OUT的值,注意修改时需把前面的“!”去掉,修改后重启客户端服务,重新发起增量备份。配置文件地址为CBR客户端安装目录/etc/ClientService/AggregateApp/apache_hbase.config。
l Q3. 备份过程中报错:Can’t get the location for replica 0。
【问题原因】zookeeper服务异常。
【解决方法】检查zookeeper服务是否正常,正常后重新发起备份。
l Q4. 增量备份过程中报错:Can't get Master Kerberos principal for use as renewer。
【问题原因】备份过程中未获取到yarn-site.xml文件。
【解决方法】若Hadoop集群开启了Kerberos,需要把yarn-site.xml复制到HDFS配置文件目录下。以CDH版本为例,执行下面的命令:
> cp /etc/hadoop/conf.cloudera.yarn/yarn-site.xml /etc/hadoop/conf.cloudera.hdfs/
其中/etc/hadoop/conf.cloudera.hdfs/为配置虚拟客户端时需要填写的Hadoop config目录。
l Q5. 备份过程中报错:http response出现异常,原因:无效的http响应消息。
【问题原因】未正确配置客户端配置文件。
【解决方法】参考1.5章节内容,确认客户端各配置项已填写正确。
例如确认apache_hbase.config文件中的HBASE_ENV_TYPE=0参数已修改为对应的版本。
6.3 HBase恢复FAQs
l Q1. 恢复过程中报错:恢复终止,原因:HBase客户端个数为0。
【问题原因】升级后未正确配置客户端配置文件。
【解决方法】参考1.5章节内容,确认客户端各配置项已填写正确。
例如确认apache_hbase.config文件中的HBASE_ENV_TYPE=0参数已修改为对应的版本。
l Q2. FusionInsight版本恢复已删除的HBase 命名空间,实际查看HBase时无此命名空间。
【问题原因】命名空间创建异常。
【解决方法】手动创建需恢复的命名空间后再次进行恢复操作,或恢复时选择环境中已有的其他命名空间进行恢复。
注意:其他FAQs请参考《云备份 CBR Hadoop 文件系统备份恢复用户指南》第5章。
- 点赞
- 收藏
- 关注作者
评论(0)