1.1 信息收集

在规划与准备Hadoop分布式文件系统定时备份恢复前，请您先获取参考文档了解相关内容并收集Hadoop分布式文件系统集群信息。

1.1.1 Hadoop分布式文件系统集群信息收集

建议在如下前置条件均满足的情况下收集Hadoop分布式文件系统集群信息。请参考1.1.2 Hadoop文件系统环境检查以及1.1.1.3 Kerberos认证环境下Hadoop集群获取Keytab文件 ，确认如下前置条件是否满足。

l   确认HDFS集群相关服务已开启；

l   能够在需要安装CBR客户端的终端上访问Hadoop文件系统；

l   若Hadoop文件系统环境存在kerberos认证，则需获取kerberos认证用户名和密码或者keytab文件。

为防止操作被中断，建议您提前收集好后续操作要使用的Hadoop分布式文件系统集群信息并确保Hadoop集群的状态正常运行。详见表1-1 Hadoop分布式文件系统集群信息收集表。

信息项1-5为添加Hadoop虚拟客户端时所需要输入的信息，目的是为了与Hadoop虚拟客户端通信，为后续Hadoop文件系统的备份和恢复做铺垫。详见1.5 添加Hadoop虚拟客户端。

信息项6-10为客户端安装部署时需要输入该信息，为后续创建Hadoop虚拟客户端做铺垫。

表1-1 Hadoop分布式文件系统集群信息收集表

编号	信息项	获取方式
1	NameNode IP+端口号 连接固定NameDode管理的HDFS （与HDFS URL二选一即可）	fs.defaultFS或dfs.namenode.servicerpc-address配置项中获取。 l  Apache默认为9000 l  CDH默认为8022 l  FusionInsight默认为25006 l  TDH默认为8020 l  HDP默认为8020 具体查询方法可参考1.1.2.1 检查各节点各服务进程是否在位
2	HDFS URL 连接指定集群的HDFS。 选择HDFS URL方式可避免NameNode主备切换引起的备份恢复失败问题。	HDFS的fs.defaultFS配置项。 默认为default，会自动读取本地配置文件中的URL，备份本地集群数据时建议保持默认值，本地有多个集群时配置为fs.defaultFS值。 具体查询方法可参考1.1.2.2 检查HDFS服务是否可用
3	用户名 连接HDFS时使用的用户名。 备份恢复HDFS目录需要用户有对应目录的读写权限，使用HDFS管理员账户可避免很多权限问题。	联系管理员获取 测试环境可自行创建
4	HDFS客户端 HDFS客户端可选择DataNode节点，提高客户端数量能有效提升备份效率
5	Keytab路径 HDFS客户端上对应的HDFS用户的Keytab文件全路径。（只有开启Kerberos认证的Hadoop集群需要填写该配置项。）	使用kinit命令认证生成，详见1.1.1.3 Kerberos认证环境下Hadoop集群获取Keytab文件
6	Hadoop native library path 连接HDFS的资源包(libhdfs.so文件)所在目录。	find /opt -name libhdfs.so 例如FusionInsight 8.2.0集群可为：/opt/Bigdata/client/HDFS/hadoop/lib/native
7	the jvm library path 运行java虚拟机的资源包(libjvm.so文件)所在目录。	find /opt -name libjvm.so 例如FusionInsight 8.2.0集群可为：/opt/Bigdata/client/JDK/jdk1.8.0_332/jre/lib/aarch64/server
8	the absolute path of file krb5.conf krb5.conf文件的绝对路径。Kerberos认证时需要从此配置文件加载参数。	find / -name krb5.conf 例如FusionInsight 8.2.0集群可为（上传的）：/home/omm/krb5.conf
9	the kinit bin file path kinit bin文件所在目录。	find /opt -name kinit 例如FusionInsight 8.2.0集群可为：/opt/Bigdata/client/KrbClient/kerberos/bin/
10	Hadoop bin file path hadoop bin文件所在目录。	find /opt -name hadoop 例如FusionInsight 8.2.0集群可为：/opt/Bigdata/client/HDFS/hadoop/bin/

 

1.1.1.1 Hadoop集群NameNode端口号查询

1.1.1.1.1 Apache Hadoop集群NameNode端口号查询

Apache Hadoop版本NameNode端口号默认为9000，可通过配置文件查看，集群为单namenode时，查看Hadoop安装目录下core-site.xml配置文件；集群为双namenode时，查看Hadoop安装目录下hdfs-site.xml配置文件。

例如：cat /opt/hadoop/hadoop-2.6.5/etc/hadoop/core-site.xml，此集群NameNode端口号为9000。

1.1.1.1.2 CDH集群NameNode端口号查询

CDH版本NameNode端口号默认为8022，可登录Cloudera Manager管理界面，查看HDFS服务的配置dfs.namenode.servicerpc-address对应的值。 

1.1.1.1.3 FusionInsight集群NameNode端口号查询

FusionInsight版本NameNode端口号默认为25006，可登录FusionInsight Manager管理界面，查看HDFS服务的配置dfs.namenode.servicerpc.port对应的值。

获取的方法为：

                                步骤 1     使用MapReduce（MRS）集群所在的运营面用户登录ManageOne，进入MapReduce集群页面，进入集群列表-现有集群，单击集群名称，进入集群界面，单击前往Manager，进入FusionInsight界面

                                步骤 2     输入创建MRS集群时指定的admin用户及密码

                                步骤 3     单击主页菜单，单击HDFS，进入HDFS界面

                                步骤 4     单击配置，查看HDFS的具体配置信息

----结束

1.1.1.1.4 TDH集群NameNode端口号查询

TDH版本NameNode端口号默认为8020，可登录TDH管理界面，查看HDFS服务的配置namenode.rpc-port对应的值。

1.1.1.1.5 HDP集群NameNode端口号查询

HDP版本NameNode端口号默认为8020，可登录Ambari管理界面，查看HDFS服务的配置dfs.namenode.rpc-port对应的值。

1.1.1.2 Hadoop集群fs.defaultFS配置项查询

若您希望通过HDFS URL方式创建虚拟客户端，需收集Hadoop集群fs.defaultFS配置项。fs.defaultFS配置项查询方法：使用ssh登录客户端系统后台，输入find ./ -type f -name core-site.xml命令找到HDFS的core-site.xml文件所在路径，获取 core-site.xml文件中fs.defaultFS配置项。

FusionInsight版本的HDFS节点查看方式为：

                                步骤 1     使用MapReduce（MRS）集群所在的运营面用户登录ManageOne，进入MapReduce集群页面，进入集群列表-现有集群，单击集群名称，进入集群界面，单击节点管理，单击节点名称

                                步骤 2     进入节点云服务器所在界面，单击远程登录，进入节点。登录账号为root，密码为创建MRS集群时所指定的root密码

                                步骤 3     登录节点后，使用如下命令查找：

cd /opt

find ./ -type f -name core-site.xml

使用vi命令打开HDFS的配置文件

vi  HDFS的core-site.xml配置文件

----结束

1.1.1.3 Kerberos认证环境下Hadoop集群获取Keytab文件

1.1.1.3.1 Apache/CDH环境下keytab文件获取

测试环境中若需自行准备用户，可参考下面步骤创建用户：

                                步骤 1     创建用户，在kadmin服务节点输入如下命令（其他节点需认证管理员账户后使用kadmin进行创建）。

> kadmin.local -q "addprinc hdfs@HADOOP.COM"

                                步骤 2     导出keytab，使用keytab方式认证时需要导出keytab，在kadmin服务节点输入如下命令。

> kadmin.local -q "ktadd -k  /tmp/hdfs.keytab -norandkey hdfs@HADOOP.COM"

注意：导出keytab时务必加上-norandkey参数，否则该用户会重新初始化密码，原有密码、keytab都将失效。

                                步骤 3     把用户加入supergroup

在Hadoop任意节点执行下面命令：

> useradd hdfs        #创建linux同名用户

> groupadd supergroup      #创建supergroup组

> usermod -a -G supergroup hdfs      #把用户加入supergroup组

> hdfs dfsadmin –refreshUserToGroupsMappings       #HDFS刷新用户到组的映射

----结束

1.1.1.3.2 FusionInsight环境下keytab文件获取

FusionInsight有单独的用户系统，需在管理界面创建用户。

                                步骤 1     添加角色，登录管理后台，依次单击【系统】> 【权限】>【角色】> 【添加角色】，输入角色名称，如hdfs_test_role，资源权限勾选HDFS组件的集群管理操作权限，单击确定：

                                步骤 2     添加用户。登录管理后台，依次单击【系统】> 【权限】>【用户】> 【添加用户】，输入用户名称，如hdfs_hbr_test，用户类型选择“机机”，用户组选择“supergroup”，主组选择“supergroup”,角色选择步骤1创建的角色，单击确定：

                                步骤 3     导出keytab。登录管理后台，依次单击【系统】> 【权限】>【用户】，单击步骤2创建的用户后方的【更多】>【下载认证凭据】，选择集群，单击确定。待文件自动生成后指定保存位置，并妥善保管该文件。解压认证凭据文件后可以获取两个文件：“krb5.conf”文件包含认证服务连接信息。“user.keytab”文件包含用户认证信息。把凭据上传至客户端解压即可

----结束

1.1.1.3.3 TDH环境下keytab文件获取

TDH集群可通过登录Transwarp Manager，选择“主页 > Guardian > 角色”，在需导出文件的角色所在行，单击服务链接“链接”，输入Guardian用户名和密码后进入Guardian主页，下载用户的Keytab文件。

请确保导出的Keytab文件能够认证成功，检验方法为shell客户端输入 kinit -kt <keytab_path> <principal>，若认证成功，则能够在客户端本地通过hdfs dfs -ls /访问hdfs目录。

1.1.2 Hadoop文件系统环境检查

在进行Hadoop文件系统备份时，要求集群必须处在开启状态，且运行正常。

1.1.2.1 检查各节点各服务进程是否在位

1.1.2.1.1 单节点命令行方式检查

若Hadoop文件系统节点数较少的情况下，可在各节点输入jps命令查看各服务进程。具体检查项如下表所示。

表1-2 Hadoop分布式文件系统服务进程检查表

服务进程名称	作用和影响	检查结果
NameNode	HDFS的master，也是HDFS的核心，负责维护HDFS的元数据和所有DataNode数据块的映射，若NameNode服务挂掉，备份恢复均会失败。	一般一个HDFS环境仅一个NameNode服务在位。
DataNode	存储block数据块，若部分DataNode节点的DataNode服务挂掉，可能会影响备份。	所有DataNode节点的DataNode服务都要在位，集群开启kerberos时，DataNode进程由jsvc启动，进程名称无法获取，展示为空。
ResourceManager	YARN的master，也是YARN的核心，负责资源管理和调度。若ResourceManager服务挂掉，可能会影响备份。	一般一个HDFS环境仅一个ResourceManager服务在位。
NodeManager	YARN的slave，NodeManager服务进程挂掉会影响集群MapReduce任务可分配资源，可能会影响备份。	所有DataNode节点的NodeManager服务都要在位。

 

1.1.2.1.2 批量查询脚本方式检查

若Hadoop文件系统节点数较多的情况下，建议采用批量查询脚本方式检查jps命令执行结果。

批量查询脚本方式检查如下：

chmod +x /usr/local/bin/xcall.sh

使用方法如下：

> xcall.sh jps

> vi /usr/local/bin/xcall.sh    #创建xcall.sh脚本，输入下面内容，保存后添加执行权限

#!/bin/bash

nodelist=(cdh190 cdh191)

params=$@

for node in ${nodelist[*]};

do

echo ============== $node $params ==============

ssh $node "$params"

done

1.1.2.2 检查HDFS服务是否可用

1.1.2.2.1 命令行检查方式

hdfs dfs -ls /

s /

在Hadoop文件系统集群的任意节点，输入如下命令浏览HDFS文件系统来检查HDFS服务是否可用。

输入命令后可正常浏览HDFS文件系统。 

若集群开启kerberos认证，则需先认证用户后再进行浏览HDFS文件系统命令行操作。方法如下。

方式一：kerberos认证用户名密码方式

kinit 用户名

方式二：kerberos认证keytab文件认证方式

kinit -kt <keytab_path> <principal>

上述kerberos认证方式的前提均需从客户处获取相应的kerberos认证用户名和密码，或者keytab文件的位置，若均无法获取，可参考1.1.1.3.1 章节。

若HDFS集群为FusionInsight版本，需执行位于目录hadoopclient内的bigdata_env环境变量后再进行浏览HDFS文件系统命令行操作。

若HDFS集群为TDH版本，需执行位于目录TDH-Client内的脚本init.sh后再进行浏览HDFS文件系统命令行操作。

1.1.2.2.2 管理页面检查方式

除了Apache以外的其他发行版本，可登录管理后台查看各服务状态。

Apache版本各服务默认Web UI地址如下表所示。

表1-3 Apache版本各服务默认Web UI地址检查表

服务信息	默认URL	备注
NameNode information	http://namenodeip:50070	端口号查询参见dfs.namenode.name.http-address
YARN	http://resourcemanagerip:8088	端口号查询参见yarn.resourcemanager.webapp.address

 

CDH/FusionInsight/TDH 版本可在管理界面中各服务界面跳转查看。

 

1.1.2.3 FusionInsight版本检查HDFS状态

FusionInsight版本HDFS状态检查按如下步骤进行

                                步骤 1     使用MapReduce（MRS）集群所在的运营面用户登录ManageOne，进入MapReduce集群页面，进入集群列表-现有集群，单击集群名称，进入集群界面概览页面，单击运维管理中的“前往Manager”

                                步骤 2     进入主页-HDFS，查看角色状态。

----结束

1.2 客户端安装部署

1.2.1 客户端安装

进行Hadoop文件系统备份前，需要先安装客户端软件，客户端软件部署位置很灵活，即可安装在Hadoop集群的一个DataNode节点上(有代理模式)；也可安装在Hadoop集群其他节点或者Hadoop集群外的Linux主机上（无代理模式），集群外的Linux主机需要与Hadoop集群网络互通，并且集群开启kerberos时，集群外的Linux主机需接入Hadoop集群的Kerberos系统。

                                步骤 1     收集参数：

客户端安装时请根据实际环境填写参数，包括Hadoop native library path、the jvm library path、krb5.conf文件的绝对路径、the kinit bin file path以及Hadoop bin file path。

l   FusionInsight版本客户端安装参数例子如下（FusionInsight Manageger 8.2.0）：

l  请确保在FusionInsight场景安装CBR客户端前已执行位于目录Hadoop client内的bigdata_env环境变量后再安装客户端以及查询客户端参数操作。

8.2.0版本的路径为：/opt/Bigdata/client

具体命令为：

source /opt/Bigdata/client/bigdata_env

Hadoop native library path：/opt/Bigdata/client/HDFS/hadoop/lib/native

the jvm library path：/opt/Bigdata/client/JDK/jdk1.8.0_332/jre/lib/amd64/server

krb5.conf文件的绝对路径(该文件为1.1.1.3Kerberos认证环境下Hadoop集群获取Keytab文件下载后，上传后的绝对路径）：

上传路径/krb5.conf

the kinit bin file path：/opt/Bigdata/client/KrbClient/kerberos/bin

Hadoop bin file path：/opt/Bigdata/client/HDFS/hadoop/bin

l   Apache版本客户端安装参数例子如下：

Hadoop native library path：/usr/local/hadoop/hadoop-3.0.3/lib/native

the jvm library path：/usr/local/jdk1.8.0_271/jre/lib/amd64/server

krb5.conf文件的绝对路径：/etc/krb5.conf

the kinit bin file path：/usr/bin/

Hadoop bin file path：/usr/local/hadoop/Hadoop-3.0.3/bin

l   CDH版本客户端安装参数例子如下：

Hadoop native library path：

/opt/cloudera/parcels/CDH-6.3.3-1.CDH6.3.3.p0.1796617/lib/hadoop/native

the jvm library path：/usr/java/jdk1.8.0_181-cloudera/jre/lib/amd64/server

krb5.conf文件的绝对路径：/etc/krb5.conf

the kinit bin file path：/usr/bin/

Hadoop bin file path：/opt/cloudera/parcels/CDH-6.3.3-1.CDH6.3.3.p0.1796617/bin

l   TDH版本客户端安装参数例子如下：

请确保在安装TDH版本客户端前已执行位于目录TDH-Client内的脚本init.sh后再安装TDH版本客户端以及查询客户端参数操作。

Hadoop native library path：/opt/TDH-Client/hadoop/lib/native

the jvm library path：/usr/java/jdk1.7.0_71/jre/lib/amd64/server

krb5.conf文件的绝对路径：/etc/krb5.conf

the kinit bin file path：/usr/bin/

Hadoop bin file path：/opt/TDH-Client/hadoop/bin

                                步骤 2     安装Basic客户端，安装部署具体操作请查看文档《云备份 CBR 客户端软件安装卸载用户指南》中的“Linux for Hadoop客户端安装”章节内容操作。

                                步骤 3     安装Aggegate客户端，安装部署具体操作请查看文档《云备份 CBR 客户端软件安装卸载用户指南》中的“Linux for Hadoop客户端安装”章节内容操作。

----结束

1.2.2 客户端服务检查

请确保已完成客户端安装部署。安装完成客户端后，可查看客户端的服务是否正常启动。在安装路径下使用./client_cli  runner status all命令查看执行器状态，状态均为alived则说明客户端服务正常，若执行器状态异常请检查安装过程中是否报错，重启客户端服务或重新安装客户端。

 

1.3 网络规划

在使用 CBR 进行Hadoop文件系统备份与恢复前，为确保可以正常备份，请您先将管理控制台、存储服务器、客户端和Hadoop HDFS集群之间的网络规划好。

备份恢复的网络规划可能存在多种可能，本小节以管理网和数据网分离的场景为例，进行说明。

部署方式：管理控制台、客户端以及 Hadoop HDFS集群共同接入管理网，管理控制台、存储服务器以及客户端共同接入数据网。

备份数据流：备份时数据流通过数据网从 Hadoop HDFS集群流入客户端，再通过数据网从客户端流入存储服务器。

恢复数据流：恢复时数据流通过数据网从存储服务器流入客户端，再通过数据网从客户端流入Hadoop HDFS集群。

1.4 基础配置

在使用 CBR进行Hadoop文件系统备份与恢复前，为确保可以正常备份，请您先配置基础项。

基础配置包括：检查管理控制台服务状态、外接客户端接入管理控制台、添加并激活授权码、配置备份存储数据 IP、配置OFS卷、元数据卷、重删卷、存储库备份索引卷以及磁带备份索引卷等。

l  发起恢复时，可以不需要添加授权码。

l  备份Hadoop文件系统数据时，需要通过客户端进行备份，故您必须至少准备一个外接客户端。

1.5 添加Hadoop虚拟客户端

请您先仔细查阅产品兼容性，确保要添加的Hadoop虚拟客户端版本在兼容范围内。

添加 Hadoop虚拟客户端将由操作员进行操作。

请您根据以下操作进入添加Hadoop虚拟客户端界面：

                                步骤 1     租户登录管理控制台。

                                步骤 2     单击左侧导航栏【资源】→ 【客户端】，进入客户端管理页面，单击【新建虚拟客户端】→【Hadoop虚拟客户端】。

                                步骤 3     输入客户端名称、选择NameNode IP（需输入NameNode IP和NameNode端口号）或HDFS URL方式（需输入HDFS URL）、用户名、选择代理客户端、选择组；

在对话框中，根据要求输入如下参数：

1.         客户端名称：输入用户自定义的客户端名称。

2.         选择组：选择Hadoop虚拟客户端需要添加的组。

3.         NameNode IP ：输入 Hadoop集群的NameNode IP。更多内容，请参考1.1.1 Hadoop分布式文件系统集群信息收集。需要填写主NameNode的IP地址。

4.         NameNode 端口号 ：输入 Hadoop集群的的.namenode.servicerpc.port.。更多内容，请参考1.1.1Hadoop分布式文件系统集群信息收集。

5.         HDFS URL ：输入 HDFS的fs.defaultFS配置项。更多内容，请参考1.1.1 Hadoop分布式文件系统集群信息收集。

客户端名称、NameNode IP、 NameNode端口号和HDFS URL必须输入正确，输入错误单击创建会抛错。

6.         HDFS用户名：输入具有HDFS备份目录读写权限的用户名，建议使用最高权限用户名。为1.1.1.3 Kerberos认证环境下Hadoop集群获取Keytab文件步骤创建的用户名

7.         HDFS客户端：单击【选择】勾选需要添加的代理客户端。注意选择客户端时需要输入user.keytab的路径。

8.         Keytab路径：输入开启kerberos认证的Hadoop集群上对应HDFS用户的Keytab路径。更多内容，请参考1.1.1 Hadoop分布式文件系统信息收集。

9.         确认无误后，单击【创建】按钮完成操作。

方式一:NameNode IP方式新建Hadoop虚拟客户端：

方式二：HDFS URL方式新建Hadoop虚拟客户端

若您的HDFS集群为高可用模式，建议您选择URL方式。请确保所有代理主机的配置文件一致。

HDFS客户端选择：

设置路径需要设置 Kerberos认证环境下Hadoop集群获取Keytab文件 中下载的user.keytab 文件上传到客户端节点后的绝对路径

填写的值为：

上传路径/user.keytab

单击“应用”，单击确定

----结束

1.6 管理Hadoop虚拟客户端

1.6.1 编辑Hadoop虚拟客户端

Hadoop虚拟客户端添加成功后，其NameNode IP、代理客户端发生变更，为了不影响您的备份恢复业务，请您先编辑Hadoop虚拟客户端，更新对应信息，然后再操作备份恢复业务。您可根据以下操作编辑Hadoop虚拟客户端：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【资源】→ 【客户端】，进入客户端管理页面。

                                步骤 3     选择已创建的虚拟客户端，单击【编辑】，其中客户端名称、NameNode IP、HDFS URL、代理客户端、选择组均支持编辑。

                                步骤 4     确认无误后，单击【修改】，即可编辑成功。

注意：集群主备NameNode节点漂移后，基于NameNode IP方式创建的虚拟客户端所创建的备份任务将无法正常备份，需要编辑虚拟客户端，修改NameNodeIP为漂移后的主NameNodeIP后，才能正常备份。此时，建议您选择URL方式创建虚拟客户端，集群主备NameNode节点漂移后，备份任务将不受影响。

----结束

1.6.2 删除Hadoop虚拟客户端

您不想再使用该Hadoop虚拟客户端，此时您可以删除该Hadoop虚拟客户端。具体操作步骤如下：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【资源】→ 【客户端】，进入客户端管理页面。

                                步骤 3     选择需要删除的虚拟客户端，单击【删除】按钮，系统弹出“警告”对话框。

                                步骤 4     请您在确认删除的情况下，在文本框中输入“YES”并单击【删除】完成操作。

                                步骤 5     删除后的Hadoop虚拟客户端如果需要继续被保护，您可以再次创建添加。

----结束

1.7 限制性功能

1.7.1 备份

l   不支持备份恢复超出系统限制长度的超长目录/文件。

l   不支持备份恢复隐藏目录/文件。

l   采用HDFS里的mv命令移动数据到备份任务数据源目录下，发起增量备份或者差异备份，新增的数据不会被备份。

1.7.2 恢复

l   不支持两个或多个任务同时恢复同一文件到同一路径，可能会导致数据丢失。

l   HDFS的备份数据恢复至其他文件系统时，仅支持恢复至Linux操作系统。

l   从磁带恢复数据至HDFS时，仅支持一个HDFS客户端。

2.1 关于备份

在 CBR中，备份是一种任务驱动型进程，执行备份之前，您需要先新建备份任务。备份任务是备份需求的一个配置集合单元，备份任务定义了备份内容、备份选项和备份数据存放的位置等。备份任务的新建操作，请您参考新建备份任务；备份任务新建成功后您可以对其进行管理，具体内容请参考2.3 管理备份任务管理备份任务。

关于备份原理的具体内容，请您参考2.1.2 备份原理备份原理。

首次备份时，任务将进行全量备份，后续可以根据您的需求设置备份类型为完全备份、增量备份或差异备份。更多内容，请参考2.3.2 启动备份任务。

2.1.1 Hadoop定时备份支持功能

表2-1 Hadoop定时备份支持功能

功能	子功能	支持	备注
备份	完全备份	√	备份粒度：整个目录、单个文件
	增量备份	√
	差异备份	√
	永久增量备份	√
数据保留策略	按时间保留	√	-
	按副本数保留	√	-
	按备份策略的备份周期设置副本保留策略	√	-
传输与存储加密	-	√	-
数据压缩	-	√	-
流量控制	-	√	-
重复数据删除	-	√	-
备份自动重试	-	√	-
数据过滤	-	√	-
告警	-	√	-
日志	-	√	-
远程复制	-	√	-
内外网	-	√	-
云备份存储库	-	√	-
磁带归档	-	√	-

2.1.2 备份原理

CBR备份 Hadoop文件系统，原理如下：

                                步骤 1     管理控制台启动备份任务。

                                步骤 2     管理控制台下发备份任务以及需要备份的数据源给客户端。

                                步骤 3     客户端根据管理控制台下发的备份任务所配置的备份模式和备份时间点对象以及需要备份的数据源，开启数据源读取器，分析数据源，产生备份对象。

                                步骤 4     客户端将对象从Hadoop HDFS中读取出来。

                                步骤 5     客户端将读取到的对象发送到存储服务器。

                                步骤 6     存储服务器将对象是否备份成功返回给客户端，若不成功则标记此副本不完整。

                                步骤 7     客户端完成所有Hadoop HDFS备份，上报客户端及备份任务执行情况到管理控制台。

----结束

2.1.3 备份方式和数据保留策略

2.1.3.1 备份方式

CBR 备份 Hadoop文件系统的备份方式支持完全备份、增量备份和差异备份。

l   完全备份

将选定的数据源完全备份到指定目的地的备份集中。每次执行时，它不会根据最新的变动进行备份，而是直接将所有的数据备份到备份介质中，并产生一个时间点，用于记录备份的内容。

l   增量备份

仅备份相比上一次完全备份或增量备份有变化的数据，同时产生相应的时间点。在尚未进行完全备份的情况下，进行增量备份时，会自动转为完全备份。

l   差异备份

仅备份相比上一次完全备份有变化的数据，同时产生相应的时间点。在尚未进行完全备份的情况下，进行差异备份时会自动转为完全备份。

2.1.3.2 数据保留策略

CBR 为您提供以下三种数据保留策略：

l   数据保留期限：超过设置时间的副本将被自动清理。

l   保留副本个数：超过设置个数的副本将被自动清理。

l   按备份策略的备份周期设置副本保留策略：与备份策略结合使用，根据不同的备份策略设置不同的副本保留数。

2.1.3.2.1 新建备份数据保留策略

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】，进入“备份数据保留策略”界面。

                                步骤 3     在当前界面，单击【新建】按钮，系统弹出“新建数据保留策略”对话框。

                                步骤 4     在对话框中，根据要求配置如下参数：

1.         名称：输入数据保留策略的名称。

2.         数据保留策略：默认关闭，须开启后才能继续配置。

3.         数据保留期限：默认保留 1 年的备份副本，即从使用该策略开始到 1 年后，这期间产生的副本将被保留，超过 1 年的副本将被自动清理。

a.         数据保留期限配置参数范围为 1~999；可以选择年、月、周、天为单位。

4.         保留副本个数：默认保留 2 个副本，即同一备份任务的副本超过 2 个后，最旧的副本将被自动清理。保留副本个数配置参数范围为 1~1024。

5.         按备份策略的备份周期设置副本保留策略：

−           如果备份策略是按天设置，则默认保留 30 个副本。

−           如果备份策略是按周设置，则默认保留 24 个副本。

−           如果备份策略是按月设置，则默认保留 12 个副本。

−           如果备份策略是按年设置，则默认保留 4 个副本。

−           按照备份策略的备份周期所有参数配置范围均为 1~99999。

−           当任务使用对应备份周期的备份策略后，才使副本保留策略生效。

−           未勾选复选框，则默认保留所有副本。

−           勾选复选框，但任务没有使用此备份周期的备份策略，则保留自动发起的所有副本。

−           例如：启用 “按年备份策略”，但任务使用的备份策略没有年度备份策略，则保留所有备份策略自动产生的全部副本。

−           如果某一个备份周期的备份策略存在多个，则保留副本数为此类备份周期的所有备份策略产生的副本累加。

例如：任务关联了 4 个年度备份策略，则最终将保留 1 年内的 4 个副本。

l  说明：

l  保留副本个数，开启永久增量的备份任务，“副本”指的是所有备份副本；未开启永久增量的备份任务，“副本”仅指完全备份副本。

l  按备份策略的备份周期设置副本保留策略，仅控制由备份策略自动发起的副本总数，不包含手动发起的副本；如果任务已使用备份策略，但此处未开启相同备份周期的副本保留策略，则默认保留备份策略产生的所有副本；保留副本均为完全备份副本。

                                步骤 5     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.3.2.2 备份任务关联/移除备份数据保留策略

备份数据保留策略新建完成后，您必须将其应用到备份任务上才可生效。

                               步骤 1     租户或操作员登录控制台。

                               步骤 2     单击左侧导航栏【定时数据保护】→【数据备份】→【任务】，进入“备份任务”界面。单击【策略】→【添加备份数据保留策略】

                               步骤 3     在对话框中，选择一个适合该任务的数据保留策略。如果任务之前已经配置过其他策略，这次新的策略将替代旧的策略重新生效。

                               步骤 4     确认无误后，单击【确定】按钮完成操作。

备份任务添加策略后，备份数据保留策略即刻生效。

                                步骤 5     如果您想要移除备份数据保留策略，请在 “备份” 界面，选中一个或多个已配置备份数据保留策略且状态为 “未启动”的任务，单击【策略】→【移除备份数据保留策略】，系统弹出“提示”对话框。

请您仔细阅读提示内容，确认无误后，单击【确定】按钮完成操作。

备份任务移除策略后，数据保留策略即刻失效。

----结束

2.1.3.2.3 编辑备份数据保留策略

如果您需要对当前已有的备份数据保留策略相关配置做修改，您可执行以下操作编辑备份数据保留策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】，进入“备份数据保留策略”界面。

                                步骤 3     在当前界面，选中一条备份数据保留策略，单击【编辑】按钮，系统弹出“编辑数据保留策略”对话框。

                                步骤 4     在对话框中，您可以关闭数据保留策略，也可以修改数据保留策略条件。确认无误后，单击【确定】按钮完成操作。

----结束

2.1.3.2.4 删除备份数据保留策略

如果您不再需要某个备份数据保留策略，您可以执行以下操作删除数据保留策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】，进入 “备份数据保留策略” 界面。

                                步骤 3     在当前界面，选中一条或多条备份数据保留策略，单击【删除】按钮，系统弹出“提示”对话框。

                                步骤 4     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.3.2.5 复制备份数据保留策略

如果您想复用某个策略，并修改个别参数时，为了简便操作，您可以复制数据保留策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份数据保留策略】，进入“备份数据保留策略”界面。

                                步骤 3     在当前界面，选中一条数据保留策略模板，单击【复制】按钮，系统弹出“复制备份数据保留策略”对话框。

在对话框中，根据要求输入备份数据保留策略的名称。

                                步骤 4     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.4 备份策略

2.1.4.1 新建备份策略

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份策略】，进入“备份策略”界面。

                                步骤 3     在当前界面，单击【新建】按钮，系统弹出“新建备份策略”对话框。

                                步骤 4     在对话框中，根据要求配置如下参数：

1.         策略名称：输入备份策略的名称。

2.         备份周期：默认为每1天，即每天发起一次备份。

3.         当备份周期为天，支持的配置参数范围为1~365。

4.         当备份周期为周，默认为每周日发起备份，支持选择周一~周日且支持多选。

5.         当备份周期为月，默认每月1日发起备份，支持的配置参数范围为1~31。您可以选择“若当月无选定日期则在最后一天触发”。

6.         当备份周期为年，默认每年1月1日发起备份，支持选择具体日期发起备份。

7.         重复发起：默认不开启，开启该项，则在任务第一次发起后，系统将按照所设定的持续时间和频率进行重复发起。

重复发起遵循以下原则：

−           持续时间和频率均支持以分钟或小时为单位。

−           如果以分钟为单位，持续时间的配置参数范围为2~59，频率的配置参数范围为1~58。

−           如果以小时为单位，持续时间的配置参数范围为2~24，频率的配置参数范围为1~23。

−           支持持续时间和频率单位不同，但频率必须小于持续时间。

                                步骤 5     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.4.2 备份任务启用/禁用备份策略

备份策略新建完成后，您必须将其应用到备份任务上才可以生效。如果应用了某备份策略的任务不再需要此模板，您也可以选择移除。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【数据备份】→【备份】，进入“备份”界面。

                                步骤 3     在当前界面，选中一个或多个任务，单击【策略】→【备份策略】，系统弹出“备份策略”对话框。

                                步骤 4     在对话框中，单击【添加】按钮，系统弹出“添加”对话框。

在对话框中，选择一个备份策略并选择合适的备份方式，如完全备份或增量备份；选择该策略发起的时间。

如果需要添加多个备份策略，请再次单击【添加】按钮。

                                步骤 5     确认无误后，单击【确定】按钮回到“备份策略”对话框。

                                步骤 6     在对话框中，选择一个或多个备份策略，单击【启用】按钮，原来“禁用”状态的策略变为“启用”。

                                步骤 7     如果您不希望备份策略再次应用于此备份任务，您可以单击【禁用】按钮。您另外可以删除列表中的备份策略。

备份策略禁用后，将即刻失效。

----结束

2.1.4.3 编辑备份策略

如果您需要对当前已有的备份策略相关配置做修改，您可以执行以下操作编辑备份策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份策略】，进入“备份策略”界面。

                                步骤 3     在当前界面，选中一条备份策略，单击【编辑】按钮，系统弹出“编辑备份策略”对话框。

                                步骤 4     在对话框中，您可以修改备份周期和重新设置重复发起。名称暂不支持修改。

                                步骤 5     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.4.4 复制备份策略

如果您想复用某个备份策略，并修改个别参数时，为了简便操作，您可以复制备份策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份策略】，进入“备份策略”界面。

                                步骤 3     在当前界面，选中一条备份策略，单击【复制】按钮，系统弹出“复制备份策略”对话框。

                                步骤 4     在对话框中，根据要求输入备份策略的名称。

                                步骤 5     确认无误后，单击【确定】按钮完成操作。

----结束

2.1.4.5 导出/导入备份策略

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份策略】，进入“备份策略”界面。

                                步骤 3     在当前界面，选中一条或多条备份策略，单击【导出】按钮，备份策略将以“.xls”格式保存。

                                步骤 4     导出后的表格内容如下。

l   name：备份策略的名称。

l   type：备份策略的类型。

l   needInterval：重复发起功能，开启显示为“1”，不开启显示为“0”。

l   duration：重复发起中的持续时间。

l   durationUnit：持续时间的单位，单位为分钟显示为“1”，单位为小时显示为“2”。

l   frequency：重复发起中的频率。

l   frequencyUnit：频率的单位，单位为分钟显示为“1”，单位为小时显示为“2”。

l   params：备份周期选项的参数值。

l   auther：新建该备份策略的用户。

l   createdTime：创建该策略的时间。

l   updateTime：更新该策略的时间。

                                步骤 5     如果需要导入策略，请您在本地先根据下载的文档格式编辑好策略的参数。确认无误后，在管理控制台的“备份策略”界面，单击【导入策略】按钮。系统弹出“导入策略”对话框。

                                步骤 6     在对话框中，单击【浏览】按钮，选择需要导入的策略。确认无误后，单击【确定】按钮完成操作。

                                步骤 7     导入成功后，“备份策略”界面将显示导入的策略。

----结束

2.1.4.6 删除策略

如果您不再需要某备份策略，您可以执行以下操作删除备份策略。

                                步骤 1     租户或操作员登录控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【策略】→【备份策略】，进入“备份策略”界面。

                                步骤 3     在当前界面，选中一条或多条备份策略，单击【删除】按钮，系统弹出“提示”对话框。

                                步骤 4     仔细阅读警告内容，确认无误后，单击【删除】按钮完成操作。

----结束

2.2 新建备份任务

2.2.1 注意事项

l   备份过程中如果遇到难以解决的问题，请您先阅读第五章常见问题处理章节，查看是否存在相同问题的解决方案。如果还是无法解决，请您联系实施工程师进行解决。

2.2.2 新建备份任务步骤

2.2.2.1 第一步 打开新建备份任务向导

请您根据以下操作打开新建备份任务向导：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面，如所示。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“备份”工作区新建备份任务。

                                步骤 4     “备份”工作区单击“新建”>“数据级备份任务”如所示，打开新建备份任务向导。

----结束

2.2.2.2 第二步 选择保护对象和客户端

                                步骤 1     进入新建备份任务页面第一页，“请选择要保护的客户端” → 选择Hadoop虚拟客户端。“请选择要保护的应用类型”会默认选择【Hadoop文件系统】。

                                步骤 2     单击下一步进入向导2。

2.2.2.3 第三步 选择要备份的数据源

                                步骤 1     在向导2中，展开并选择数据源，单击“+”展开数据源，Hadoop定时备份任务支持自动发现数据源的功能，选中要备份的文件。

                                步骤 2     在数据源上方有个过滤按钮，单击过滤按钮后会弹出设置过滤项的界面，包含4种过滤策略，用户可以根据自身的需要选择和设置各种过滤策略。

l   创建规则---【文件过滤】，单击添加，设置需要过滤的文件，支持排除和仅包含两种方式，然后单击【确定】，填写需要过滤的文件时，需填写文件的完整路径，比如“/opt/a.txt”，支持路径中包含通配符，允许用户过滤多个文件，使用换行分隔多个文件路径。

l   创建规则---【目录过滤】，单击添加，设置需要过滤的目录，支持排除和仅包含两种方式，然后单击【确定】，填写需要过滤的目录时，需填写目录的完整路径，比如“/opt/test”,支持路径中包含通配符，允许用户过滤多个目录，使用换行分隔多个路径。

l   创建规则---【格式过滤】，设置需要过滤的某种类型的文件，支持排除和仅包含两种方式；常用文件类型包括：Microsoft Office文件、音乐和视频文件、图片文件、PDF文件、网页文件、压缩文件、支持自定义文件类型。

l   创建规则---【日期过滤】，设置需要过滤的某个时间段的文件，支持排除和仅包含两种方式，时间过滤，仅支持指定具体时间范围，其中过滤类型支持最后修改时间和访问时间两种。

                                步骤 3     单击下一步进入向导3。

----结束

2.2.2.4 第四步 选择备份介质并配置备份选项

                                步骤 1     在向导3中，选择“备份介质”，然后根据需要设置是否开启高级功能选项。

                                步骤 2     “选择介质”选择“OFS”。

                                步骤 3     “备份选项”配置永久增量备份、传输和存储加密、数据压缩、重复数据删除、流量控制以及备份自动重试。各高级功能选项说明如下：

【传输和存储加密】默认开启，若关闭可能会有安全风险，建议开启传输存储和存储加密。开启该选项后默认启用AES256加密算法，可选择启用SM4加密算法，该功能可以和【重复数据删除选项】同时开启。

【数据压缩】默认不开启，开启该选项后默认启用快速压缩，可选择启用强力压缩。选择快速压缩，具有更快的压缩速度。选择强力压缩，具有更高的压缩率。

【重复数据删除】默认为不开启，开启该选项可以启用源端重复数据删除的功能。

【备份数据一致性校验】默认为不开启，开启该选项可以启用备份数据一致性校验的功能。

【流量控制】默认不开启，开启后限制代理客户端传输数据的速度。

【备份自动重试】默认不开启，开启后若备份失败则按照配置会自动重新发起备份。

【强制数据保留】默认不开启，开启后保留时长内的数据无法被清理。

                                步骤 4     单击下一步进入向导4。

----结束

2.2.2.5 第五步 配置任务名称和任务备注

                                步骤 1     在向导4中，配置“任务名称”和“任务备注”。

                                步骤 2     “任务名称”后方的输入框输入自定义的任务名称。

                                步骤 3     “任务备注”后方的输入框输入自定义的任务备注。

----结束

2.2.2.6 第六步 完成新建备份任务向导

                                步骤 1     向导4中，“任务名称”和“任务备注”配置完成后，在“任务信息”界面中完成备份任务的配置。

                                步骤 2     任务信息确认，可选择任务生成立即执行。单击确认会弹出新建任务成功。

----结束

2.2.3 监控

任务发起备份后，您可以在“监控”工作区观察任务的实时执行情况，请您根据以下操作查看任务的执行情况：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“监控”工作区查看任务的实时信息。

                                步骤 4     “监控”工作区可以直接观察任务的执行情况，也可以单击任务后方的“详情”进一步观察任务和客户端的执行情况

                                步骤 5     “详情”界面分为三个部分“执行概要”、“执行输出”以及“虚拟机执行输出”，您可以在三个部分之间切换以查看具体信息，

                                步骤 6     “详情”界面单击“收起”可以收起“详情”，如所示。

----结束

2.2.4 历史记录

备份任务执行结束后，您可以进入“历史记录”工作区查看任务最终的执行情况。

2.2.4.1 查看历史记录

请您根据以下操作查看历史记录：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“历史记录”工作区查看历史记录。

                                步骤 4     “历史记录”工作区可以直接观察任务的执行结果，也可以单击任务后方的“详情”进一步查看任务和虚拟机的执行结果，

                                步骤 5     “详情”界面分为两个部分“执行概要”以及“执行输出”，您可以在两个部分之间切换以查看具体信息。

                                步骤 6     当您进入“详情”界面的“执行输出”部分时，为了方便您查看执行输出和虚拟机执行输出，您可以单击“导出”，将执行输出导出到本地进行查看。

                                步骤 7     单击“导出”后，您可将历史记录中备份任务的执行输出导出为TXT、XLS或PDF，请您根据自己的需求选择导出格式。

----结束

2.2.4.2 删除历史记录

为了避免任务历史记录数量越来越多，给您带来查询性能损耗，建议您适当的进行历史记录的删除，您将有两种删除历史记录有方式通过历史记录删除策略工具删除，其操作如下：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“历史记录”工作区删除历史记录。

                                步骤 4     “历史记录”工作区勾选需要删除的历史记录，单击“删除”，如所示，进入“提示”界面。

                                步骤 5     “提示”界面，单击“删除”，如所示，退出“提示”界面。

                                步骤 6     历史记录删除成功后，“历史记录”界面不能再看到删除的历史记录，如所示。

说明：支持批量删除历史记录。

----结束

2.3 管理备份任务

2.3.1 查看备份任务

请您根据以下操作查看备份任务：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“备份”工作区查看备份任务详情。

                                步骤 4     “备份”工作区，单击备份任务后方的“详情”，打开“详情”界面。

                                步骤 5     “详情”界面分为四个部分“基本信息”、“选项”、“数据源”以及“策略”，请您可以根据自己的需求进行查看。

----结束

2.3.2 启动备份任务

启动备份任务即对任务发起备份，将备份任务的数据源备份到存储服务器中，您可以有两种启动方法添加备份策略，自动启动，具体操作参阅2.1.4和手动启动，操作步骤如下：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“备份”工作区启动备份任务。

                                步骤 4     “备份”工作区选中备份任务，单击“启动”，如所示，打开“启动任务”界面。

                                步骤 5     “启动任务”界面中，单击“备份方式”下拉框，选择您需要的备份方式：完全备份、增量备份和差异备份。

                                步骤 6     “执行备注”后方的输入框输入执行备份，然后单击“启动”，如所示，退出“启动任务”界面。

注意：若单击【启动】出现“Hadoop备份未授权”的错误，请联系管理员添加Hadoop备份授权。

                                步骤 7     任务启动成功后，您可以在“备份”工作区看到任务的状态变为“正在运行”，如所示，您可以进入“监控”工作区实时观察任务执行情况，具体请参阅2.2.3 监控。

----结束

2.3.3 停止备份任务

您需要停止备份任务时，请您执行以下操作：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“监控”工作区停止备份任务。

                                步骤 4     “监控”工作区选中备份任务，单击“停止”，如所示，打开“提示”视图。

                                步骤 5     “提示”视图中，单击“停止”，如所示，退出“提示”界面。

                                步骤 6     请稍等几秒钟，您会看到单击停止的任务已不在“监控”工作区，此时您可以进入“历史记录”工作区，查看到任务运行结果为已停止。

----结束

2.3.4 编辑备份任务

当您需要变更备份任务的信息时，请您根据以下操作编辑备份任务：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”，请您在“备份”工作区编辑备份任务。

                                步骤 4     “备份”工作区勾选备份任务，单击“编辑”，如所示，打开编辑备份任务向导。

                                步骤 5     向导1中，所有选项均不支持编辑。

                                步骤 6     向导2中，所有选项均支持编辑，编辑规则同新建2.2.2。

                                步骤 7     向导3中，“备份介质”、“传输和存储加密”、“数据压缩”以及“重复数据删除”不支持编辑，“流量控制”、“强制数据保留”以及“备份自动重试”支持编辑，编辑规则同新建2.2.2。

                                步骤 8     向导4中，“任务名称”不支持编辑，“任务备注”支持编辑，编辑规则同新建2.2.2。

                                步骤 9     向导4中单击“完成”，关闭编辑备份任务向导。

                             步骤 10     任务编辑成功后，您可以根据2.3.1 查看备份任务查看任务最新详情。

说明：任务编辑成功后，下次备份将根据编辑后的信息执行任务。

----结束

2.3.5 删除备份任务

当您不再需要备份任务时，请您根据以下操作删除备份任务：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据备份】，打开“数据备份”界面。

                                步骤 3     “数据备份”视图分为三个工作区“备份”、“监控”以及“历史记录”，请您在“备份”工作区删除备份任务。

                                步骤 4     “备份”工作区勾选备份任务，单击“删除”，如所示，打开“提示”界面。

                                步骤 5     “提示”界面的输入框输入“YES”，然后单击“删除”，如所示，退出“提示”界面。

----结束

2.3.6 清理备份数据

若您想要新建清理备份数据任务，您必须保证备份数据的存在。请您根据以下操作新建数据清理任务：

2.3.6.1 第一步 启动新建清理任务向导

请您根据以下操作启动新建数据清理任务向导：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【数据清理】，进入“数据清理”界面。

                                步骤 3     在当前界面，单击【新建】按钮，启动新建清理备份数据任务向导。

----结束

2.3.6.2 第二步 选择要清理的备份任务

                                步骤 1     在向导1中，选择您要清理任务所在的“备份介质”以及对应的“备份任务”。

                                步骤 2     选择备份介质（OFS、云备份存储库）。

                                步骤 3     单击【选择】按钮，进入选择备份任务弹窗中选择备份任务。

                                步骤 4     “备份介质”与“备份任务”设置完成后，单击【下一步】按钮。

----结束

2.3.6.3 第三步 选择要清理的数据

                                步骤 1     在向导2中，选择需要清理的副本。

1.         您可以选择清理全部副本。

2.         您也可以选择清理指定副本。

                                步骤 2     “请选择要清理的副本”设置完成后单击【下一步】按钮。

----结束

2.3.6.4 第四步 填写任务备注

                                步骤 1     在向导3中，配置“任务名称”和“任务备注”

1.         “任务名称”后方为默认任务名称。

2.         “任务备注”后方输入框输入自定义的任务备注。

                                步骤 2     “任务名称”与“任务备注”设置完成后，单击【完成】按钮。

----结束

2.3.6.5 第五步 使用向导完成操作

                                步骤 1     向导3中“任务名称”和“任务备注”配置完成后，在“数据清理信息确认“界面中完成清理备份数据任务的配置。

                                步骤 2     在向导3中单击完成，打开“数据清理信息确认“界面。如果您确认删除选中的备份任务数据，请在在输入框中输入“YES”，单击【确定】按钮。此处区分大小写，必须填大写半角英文字母。

                                步骤 3     清理备份数据任务新建成功后，您可在“数据清理”界面查看新增的清理备份数据任务记录。

----结束

3.1 关于恢复

在 CBR 中，恢复是一种任务驱动型进程。执行恢复之前，您需要先新建恢复任务。恢复任务是恢复需求的一个配置集合单元。恢复任务指定了从哪个存储恢复数据、恢复目标平台以及恢复虚拟机的配置等，请参阅3.2.2 新建恢复任务步骤进行恢复任务的新建，恢复任务新建成功后您可对其进行管理，具体参阅3.3 管理恢复任务管理恢复任务。

3.1.1 Hadoop定时恢复支持功能

表3-1 Hadoop定时恢复支持功能

功能	子功能	支持	备注
恢复	原机恢复		恢复粒度：整个目录、单个文件
	异机恢复
	替换或跳过文件
数据过滤
云备份存储库恢复
磁带归档恢复

 

3.1.2 恢复原理

CBR 恢复 Hadoop文件系统，原理如下所示：

                                步骤 1     管理控制台启动恢复任务。

                                步骤 2     管理控制台下发恢复任务以及需要恢复的时间点给客户端。

                                步骤 3     客户端根据管理控制台下发的恢复任务以及需要恢复的时间点发送到存储服务器。

                                步骤 4     存储服务器将时间点是否可用以及需要恢复时间点的元数据发送给客户端。

                                步骤 5     客户端确认需要恢复的时间点可用，并取得任务需要的元数据后开启数据源读取器，分析数据源，产生恢复对象；并将恢复对象根据任务规则恢复至Hadoop HDFS。

                                步骤 6     Hadoop HDFS恢复结束并将执行结果返回给客户端。

                                步骤 7     客户端完成所有Hadoop HDFS恢复，上报客户端及恢复任务执行情况到管理控制台。

----结束

3.2 新建恢复任务

3.2.1 注意事项

l   支持恢复至原HDFS、其他HDFS和其他文件系统。

l   发起恢复任务前，如果恢复至原HDFS，请确认恢复目的集群正常启动。

l   恢复至其他HDFS或其他文件系统时，备份文件的属主保持不变。例如集群A中数据向B中恢复，若备份的集群A中文件属主为root，恢复后，文件属主仍为root。若需使用文件，请先对文件赋予用户权限。

3.2.2 新建恢复任务步骤

CBR 中，恢复是一种任务驱动型进程，执行恢复之前，您需要先新建恢复任务，请您根据以下操作新建恢复任务：

3.2.2.1 第一步 打开新建恢复任务向导

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【数据恢复】→【恢复备份数据】，进入“恢复备份数据”界面。

                                步骤 3     在当前界面，单击【新建】按钮，进入新建恢复任务向导。

 

----结束

3.2.2.2 第二步 选择备份介质与要恢复的数据

                                步骤 1     在向导1中，请依次选择备份介质和需要恢复的备份任务。

1.         “请选择备份介质”选择本地“OFS”或“云备份存储库”。

2.         从“备份任务”中选中一条备份数据。

----结束

3.2.2.3 第三步 选择时间点和要恢复的数据

                                步骤 1     在向导2中，选择“选择时间点”，然后选择“请选择要恢复的数据”。

                                步骤 2     单击“选择时间点”后方的【选择】按钮，打开“请选择时间点”对话框。在对话框中选择一个需要恢复的时间点。

                                步骤 3     时间点选择成功后，您会看到“选择时间点”后方的方框中展示了您选择的时间点，且“请选择要恢复的数据”下方展示数据源tree。

                                步骤 4     依次展开“请选择要恢复的数据”下方的数据源tree，勾选需要恢复的数据。根据需要选择添加要过滤的数据。

----结束

3.2.2.4 第四步 选择恢复方式并进行恢复配置

                                步骤 1     在向导3中，选择“恢复目的地”并配置“恢复选项”。

                                步骤 2     单击【下一步】按钮。

----结束

3.2.2.5 第五步 配置任务名称和任务备注

                                步骤 1     在向导4中，配置“任务名称”和“任务备注”。

                                步骤 2     “任务名称”默认已配置，不支持修改。

                                步骤 3     “任务备注”后方的输入框输入自定义的任务备注，如所示。

----结束

3.2.2.6 第六步 完成新建备份任务向导

                                步骤 1     向导4中，“任务名称”和“任务备注”配置完成后，在“任务信息确认”界面中完成恢复任务的配置。

                                步骤 2     向导4中，单击“完成”后打开“任务信息确认”界面。

                                步骤 3     默认已勾选 “任务生成后立即执行”，输入框中填写“YES”，单击“确定”，关闭向导。

                                步骤 4     恢复任务新建成功后，您可以看到“恢复备份数据”工作区新增一条恢复任务记录，如所示。

----结束

3.3 管理恢复任务

3.3.1 观察和查看恢复任务

恢复任务默认新建成功立即执行，请您根据以下操作观察和查看恢复任务：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】→【数据恢复】，进入“数据恢复”界面。

                                步骤 3     “数据恢复”界面分为两个工作区“恢复备份数据”和“恢复归档数据”，请您在“恢复备份数据”工作区新建恢复任务。

                                步骤 4     “恢复备份数据”工作区，单击恢复任务后方的“详情”，如所示，打开“详情”界面。

                                步骤 5     “详情”界面分为三个部分：“任务详情”、“执行概要”以及“执行输出”。

                                步骤 6     当您进入“详情”界面的“执行输出”部分时，为了方便您查看执行输出，您可以单击“导出”，将执行输出导出到本地进行查看。

                                步骤 7     单击“导出”后，您可将恢复备份数据历史记录的执行输出导出为TXT、XLS和PDF，请您根据自己的需求选择导出格式。

----结束

3.3.2 停止恢复任务

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据恢复】，打开“数据恢复”界面。

                                步骤 3     “数据恢复”界面分为两个工作区“恢复备份数据”和“恢复归档数据”，请您在“恢复备份数据”工作区停止恢复任务。

                                步骤 4     “恢复备份数据”工作区选中恢复任务，单击“停止”，打开“警告”界面。

                                步骤 5     “警告”界面中，单击“停止”，如所示，退出“警告”界面。

                                步骤 6     请稍等一分钟，您将会查看到任务运行结果为已停止。

----结束

3.3.3 删除恢复任务

当您不想保留恢复任务历史记录时，您可以执行以下操作删除恢复任务：

                                步骤 1     租户或操作员登录管理控制台。

                                步骤 2     单击左侧导航栏【定时数据保护】>【数据恢复】，打开“恢复备份数据”界面。

                                步骤 3     “恢复备份数据”界面勾选需要删除的恢复任务，单击“删除”，如所示，进入“删除”界面。

                                步骤 4     “删除”界面，输入框输入“YES”，单击“删除”，如所示，退出“删除”界面。

                                步骤 5     恢复任务删除成功后，“恢复备份数据”界面不能再看到删除的恢复任务，如所示。

l  说明：

l  支持批量删除恢复任务；

l  任务运行结束后才能执行删除操作。

----结束

4.1 创建Hadoop虚拟客户端无代理模式场景

您需要将客户端软件安装在Hadoop集群DataNode节点之外的其他节点上，或者安装在Hadoop集群外的Linux主机上（无代理模式）。

 

请您参考如下建议进行相关配置。

1.         无代理客户端与目标集群网络互通，并加入目标集群NTP保持时间同步。

2.         在无代理客户端上安装jdk并加入环境变量，安装路径与原集群保持一致。

3.         在/etc/hosts下添加目标集群所有节点的域名映射。

4.         同步目标集群HDFS资源文件以及配置文件至无代理客户端：

−           Apache版本同步目标集群任意节点的Hadoop安装目录至无代理客户端。

−           CDH版本同步目标集群任意节点parcels目录下资源包目录，默认路径为/opt/cloudera/parcels/CDH-xxx;以及配置文件目录。

−           CDH版本同步HDFS配置文件至无代理客户端，默认为/etc/hadoop，注意alternatives功能软连接的处理，或可使用scp进行同步，link文件会转化为实体文件。

5.         若目标集群开启了Kerberos，执行下面操作：

−           安装kerberos客户端

yum install -y krb5-workstation krb5-libs krb5-auth-dialog

如果主机是离线环境，可以将操作系统镜像挂载或者上传挂载作为yum源，方法如下：

1、备份原yum源配置：

cd /etc/yum.repos.d/

mkdir bak

mv *.repo bak/

2、配置yum源设置

vi /etc/yum.repos.d/local.repo

[base]

name=CentOS

baseurl=file:///mnt/

gpgcheck=0

enabled=1

2、挂载光驱

方法一：直接挂载：mount /dev/sr0 /mnt

方法二：上传系统镜像例如CentOS-7-x86_64-DVD-2207-02.iso到主机/root/目录下，执行mount /root/CentOS-7-x86_64-DVD-2207-02.iso /mnt

3、清除和生成缓存

yum clean all

yum makecache

−           同步目标集群Kerberos客户端配置文件krb5.conf，默认在/etc目录下

−           认证HDFS备份用户产生票据文件(或keytab文件)

4.2 Hadoop文件系统备份数据远程复制场景

您在管理控制台 A 存在一组备份数据，您需要将管理控制台 A 的若干备份数据同步到管理控制台 B ，以达到异地容灾的效果。

此时，您可以将管理控制台 A 的备份数据同步到管理控制台 B ，并可通过目的端发起数据恢复至Hadoop HDFS集群，以达到异地容灾的效果。

4.3 如何将Hadoop文件系统备份至云备份存储库

若您需要将Hadoop文件系统备份到云备份存储库中，再从云备份存储库中恢复至原来的Hadoop HDFS集群或其他Hadoop HDFS集群。

此时，您可以将备份任务的备份介质选择为云备份存储库，在恢复任务时，选择从云备份存储库进行恢复。

4.4 如何将Hadoop文件系统备份进行磁带归档

若您需要将Hadoop文件系统备份归档到磁带中，再从磁带恢复至原来的Hadoop HDFS集群或其他Hadoop HDFS集群。

此时，您可以将存储服务器（OFS）中的备份数据进行归档，在恢复任务时，选择从磁带进行恢复。

4.5 Hadoop文件系统集群不可用时如何恢复备份的文件

若您备份的Hadoop文件系统集群环境已损坏，不可使用；且没有其他Hadoop文件系统可以进行恢复，您需要将原Hadoop文件系统的备份恢复至除Hadoop HDFS以外的其它文件系统。

此时，您可以参考3.2.2新建恢复任务步骤，选择其它文件文件系统进行恢复。可支持恢的其他文件系统有ext4、ext3、xfs。

4.6 如何为Hadoop文件系统备份/恢复配置多代理客户端并发来提升备份/恢复效率

若您需要提升Hadoop文件系统备份/恢复效率，可以使用多代理客户端并发备份/恢复场景进行Hadoop文件系统的备份恢复。

此时，您可以将多节点客户端进行客户端软件安装，并参照1.5 添加Hadoop虚拟客户端添加Hadoop虚拟客户端、2.2.2 新建备份任务步骤新建备份任务步骤以及3.2.2 新建恢复任务步骤新建恢复任务步骤进行多节点客户端的Hadoop文件系统备份/恢复。

Hadoop文件系统备份/恢复性能的影响因素主要有如下几方面：Hadoop HDFS集群读写性能、客户端与控制台网络通道性能、存储服务器读写性能以及代理客户端数量，这些因素综合影响备份/恢复的性能，在其他因素一定的情况下，增加代理客户端的数量能显著提升备份/恢复的速度，同时随着代理客户端数量逐渐增多时，备份/恢复速度的增加幅度逐渐减少，直至趋于server端网络、存储瓶颈或者HDFS集群并发读写瓶颈，因此建议合理地配置代理客户端数量，可通过如下方法尝试寻找最优的代理客户端配置数量。

1.         根据server端网卡或存储的上限值初步配置代理客户端数量，代理客户端数量=网卡带宽(或存储上限，两者取小)/单代理客户端备份速度/0.8

2.         逐步增加代理客户端数量(如每次增加2个代理客户端)，查看备份速度较之前有没有明显提升，若有明显提升，则重复执行步骤2，直至备份速度变化不明显，选取上一次代理客户端数量；若没有明显提升，则执行步骤3。

3.         逐步减少代理客户端数量(如每次减少1个代理客户端)，查看备份速度较之前有没有明显降低，若没有明显降低，则重复执行步骤3，直至备份速度变化不明显，选取本次代理客户端数量；若有明显降低，则选取上一次代理客户端数量。

例如：Hadoop7节点实体机集群，server端配置双万兆网卡并组bond，存储性能最高为2Gib/s以上，HDFS单代理客户端备份速度为410Mib/s，配置代理客户端数量步骤如下：

l   计算初始代理客户端数量为2048/410/0.8=6.24，6个代理客户端实际备份速度为1.62Gib/s。

l   增加代理客户端数量，测试8个代理客户端实际备份速度为1.64Gib/s，与6个代理客户端备份性能差别不大。

l   减少代理客户端数量，测试5个代理客户端实际备份速度为1.23Gib/s，性能下降较多，因此选择6个代理客户端进行备份较为合理。

注意：建议您添加代理客户端的个数不超过50个，若创建超过50个代理客户端时，可能会遇到超时报错。代理客户端数量的多少不取决于Hadoop集群的节点数量，Hadoop集群节点数量较少时可使用无代理模式的代理客户端。

4.7 备份存储空间容量较小的情况下，备份任务应如何配置

如果您遇到如下场景：

您的Hadoop文件系统备份数据占用空间越来越大，而管理保存数据的成本及数据中心空间和能耗也变得越来越严重，随着时间的推移冗余数据越来越多时，您迫切希望缓解存储系统的空间增长，缩减数据占用空间，降低成本，最大程度地利用已有资源。

此时，您可以在创建任务时，进行以下配置：

l   开启重复数据删除

您可以使用重复数据删除功能，创建重删卷、指纹池以及指纹库，参考2.2.2 新建备份任务步骤新建备份任务步骤将Hadoop文件系统的备份任务开启重复删除功能，参考2.2.4 历史记录历史记录章节查看备份任务的执行概要获悉备份任务的重删率。开启重删功能后，备份任务的首次备份重删率在0%~40%，多次备份的重删率在70%~90%。

l   开启数据压缩

您可以参考2.2.2 新建备份任务步骤新建备份任务步骤章节，将备份任务的压缩选项开启，选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度；强力压缩具有更高的压缩率。数据压缩会占用一定的CPU资源，建议根据您的环境需求选择相应的数据压缩方式。您可参考2.2.4 历史记录历史记录章节查看备份任务的执行概要获悉备份任务的实际备份数据量。开启快速压缩时，备份任务的数据压缩比在1~1.5左右；开启强力压缩时，备份任务的数据压缩比在1~2左右。

l   为备份任务配置数据保留策略

您可以参考2.1.3数据保留策略章节配置数据保留策略。系统将根据您的配置，在每次任务执行时删除您不需要的数据。缩减数据占用空间的压力。

注意：重复数据删除和数据压缩均会占用系统CPU和内存资源，请在确保服务器系统资源充足的情况下，进行以上特性功能的开启。

4.8 在网络资源紧张的情况下，备份任务应如何配置

若您的备份数据网络通道资源紧张，您希望在此场景下继续Hadoop文件系统的备份任务。

此时，您可以在创建任务时，进行以下配置：

l   设置流量限制，限制备份的速度

您可以参考2.2.2 新建备份任务步骤新建备份任务步骤将Hadoop文件系统的备份任务开启流量限制功能，参考2.2.4 历史记录历史记录章节查看备份任务的执行概要获悉备份任务的传输速率。

l   设置合理的备份策略，使大容量数据的备份任务在业务不繁忙的时间段进行

您可以参考2.1.4 备份策略备份策略章节创建策略，根据业务需要设置合理的备份策略。

l   开启重复数据删除

您可以使用重复数据删除功能，创建重删卷、指纹池以及指纹库，参考2.2.2 新建备份任务步骤新建备份任务步骤将Hadoop文件系统的备份任务开启重复删除功能，参考2.2.4 历史记录历史记录章节查看备份任务的执行概要获悉备份任务的重删率。开启重删功能后，备份任务的首次备份重删率在0%~40%，多次备份的重删率在70%~100%。

l   开启数据压缩

您可以参考2.2.2 新建备份任务步骤新建备份任务步骤章节，将备份任务的压缩选项开启，选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度；强力压缩具有更高的压缩率。数据压缩会占用一定的CPU资源，建议根据您的环境需求选择相应的数据压缩方式。您可参考2.2.4 历史记录历史记录章节查看备份任务的执行概要获悉备份任务的实际备份数据量。开启快速压缩时，备份任务的数据压缩比在1~1.5左右；开启强力压缩时，备份任务的数据压缩比在1~2左右。

注意：重复数据删除和数据压缩均会占用系统CPU和内存资源，请在确保服务器系统资源充足的情况下，进行以上特性功能的开启。

4.9 如何保证Hadoop文件系统备份数据传输和存储安全

若您希望确保Hadoop文件系统备份在数据传输过程和存储时的安全性。

此时，你可以参考2.2.2 新建备份任务步骤新建备份任务步骤章节，将备份任务的加密选项开启，选择AES256或SM4加密算法。数据的加密计算由客户端完成，计算完成后将数据传输至存储服务器。数据在传输和存储中始终保持加密状态。数据恢复时，存储的数据将直接发送至目标客户端，再由客户端进行数据的解密操作。由于加密功能需要消耗一定的系统资源，开启数据加密的备份任务会对备份恢复的效率存在一定的影响。一般情况下，开启AES256加密算法的备份任务性能较SM4加密算法更高，建议根据您的环境需求选择相应的加密方式。

5 常见问题处理