云备份 CBR 云数据仓库GaussDB(DWS)备份恢复用户指南
1.1 名词解释
备份主节点:创建GaussDB虚拟客户端时会配置一些客户端作为备份节点,从这些备份节点中会自动选择一个IP最大的客户端作为备份主节点,备份时会通过此节点下发roach备份恢复命令以及其他一些管理操作。IP最大选取规则如下:从左到右依次对IP地址的每一位进行比较,,此位数值大者则IP地址为大,若此位数值相同则比较下一位,如192.168.129.10、192.168.129.12、192.168.128.63中最大者为192.168.129.12。
1.2 兼容产品
本文档兼容产品为云数据仓库GaussDB(DWS),具体兼容版本请参考软件兼容性列表。
1.3 网络规划
部署方式:管理控制台、客户端共同接入管理网,管理控制台、存储服务器以及客户端共同接入数据网。云数据仓库GaussDB(DWS)由于业务网络对外隔离,需要将CBR客户端部署在DWS集群全部或部分节点上,并配置roach_client工具传输数据。
备份数据流:备份时数据流通过数据网从客户端流入存储服务器。
恢复数据流:恢复时数据流通过数据网从存储服务器流入客户端。
1.4 基础配置
基础配置包括:安装CBR客户端、检查管理控制台服务状态、客户端接入管理控制台、添加并激活授权码、配置备份存储数据 IP、配置OFS卷、元数据卷、重删卷、磁带备份索引卷等以及配置用户权限等。
l 备份DWS数据库时,需要通过CBR客户端进行备份,故需要您根据部署方式安装CBR客户端软件。安装方法请参考《云备份 CBR 客户端软件安装卸载用户指南》文档中“Linux for GaussDB客户端安装”小节。
l 准备客户端前请您先仔细阅读软件兼容性列表,保证数据库版本及操作系统在兼容列表中。
1.5 数据库状态检查
在进行云数据仓库GaussDB(DWS) 数据库备份时,要求数据库状态必须正常。
云数据仓库GaussDB(DWS) 数据库环境状态检查方法如下:
步骤 1 参考附录6.1中方法,登录至DWS集群任意节点,并进入沙箱内操作:su Ruby -c "ssh `hostname -i`"
步骤 2 查看数据库状态:gs_om -t status
cluster_state为Normal,balanced为Yes,则数据库状态正常。
----结束
1.6 信息收集
为防止操作被中断,建议您提前收集好后续操作要使用的客户端信息。
编号 |
信息项 |
目的 |
作用域 |
说明 |
1 |
备份端口号 |
备份时roach master占用的端口号 |
备份主节点 |
配置的端口号需保证未被占用,且在DWS各节点间网络畅通,建议设置为55000 |
2 |
元数据存储路径 |
保存GaussDB备份的元数据信息 |
DWS所有节点 |
应用于DWS集群所有节点沙箱内,需保证此目录未创建且备份用户对上层目录有操作权限,例如:若备份用户为Ruby,可配置为/home/Ruby/backup,其中backup目录未创建 |
3 |
roach_client 进程监听端口号 |
新建虚拟客户端中的roach_client监听端口所填值 |
所有客户端 |
此端口号与roach_client进程启动时端口号一致,建议设置为56000,详情参考roach_client配置章节 |
4 |
数据库集群任一CN节点IP |
新建虚拟客户端中的数据库CN节点IP所填值 |
|
需在该节点上配置medialist.txt文件,详情参考roach_client配置章节 |
1.6.1 CN节点查询方法
参考附录6.1中方法,登录至DWS集群任意节点,并进入沙箱内操作:
> su Ruby -c "ssh `hostname -i`"
> gs_om -t status –detail
打印结果中Coordinator State模块的内容即为CN节点信息,node_ip为CN节点IP
1.7 HCS DWS配置
1.7.1 roach_client配置
备份云数据仓库GaussDB(DWS)前,所有客户端均需要进行roach_client配置,除了部署CBR客户端外还要进行部署roach_client工具和配置medialist.txt操作,配置方法如下。
l 部署RoachClient工具
1. 获取并上传RoachClient工具包。
云数据仓库GaussDB(DWS)产品包中没有自带RoachClient压缩包,需要联系华为获取,下载链接为https://support.huawei.com/carrier/navi?coltype=software#col=software&path=PBI1-253383977/PBI1-23710112/PBI1-21431666/PBI1-253386765/PBI1-251527524,根据操作系统类型选择下载对应压缩包,如dws_RoachClient_8.1.x_redhat_x64.tar.gz。请确保roach_client版本与DWS版本匹配。然后上传至DWS中所有作为备份客户端的节点沙箱外路径下。
2. 解压RoachClient工具包。
解压目录需要数据库用户有读写权限,建议解压至沙箱外路径数据库用户的home目录下,以Ruby用户为例,可以创建/home/Ruby/roach_client目录,并把RoachClient压缩包解压至此目录:
> su – Ruby
> mkdir /home/Ruby/roach_client
> tar -zxf dws_RoachClient_8.1.x_redhat_x64.tar.gz -C /home/Ruby/roach_client
3. 启动roach_client。
解压RoachClient 安装包后,进入roach_client解压后的bin目录,使用Ruby用户执行以下命令启动roach_client工具。
> cd /home/Ruby/roach_client/bin
> source roach_client_env
> ./roach_client -p selfip:port -H ip1/32,ip2/32..,ipn/32 -D -l /home/Ruby/roach_client.log
其中selfip为当前节点DWS业务网络IP地址;port为roach_client监听端口,请确保DWS集群所有节点业务网络IP均可访问此端口,建议配置为56000;-H参数设置允许哪些主机连接到此roach_client,参数为CIDR格式,需要保证允许DWS集群所有节点业务网络IP地址连接,DWS节点较少时可以按照ip1/32..ipn/32格式配置,表示仅允许ip1..ipn连接,若设置为0.0.0.0/0,表示允许所有IP地址连接;-l为指定日志文件。
l roach_client需要部署在沙箱外路径下,配置roach_client工具时注意不要进入沙箱内操作。
l 请确定使用的roach_client版本与DWS数据库版本一致,数据库升级后需要同步升级roach_client版本,可通过-V参数查看roach_client版本。
l 配置medialist.txt
云数据仓库GaussDB(DWS)备份方案中,CN节点启动的roach master进程会读取medialist.txt文件,通过解析出的IP列表为DWS所有节点的roach agent一一分配roach_client。此文件必须放置在此CN节点沙箱内数据库用户home目录下,内容为所有客户端roach_client启动时的IP地址列表,以换行符分隔,不能有空行,文件属主为数据库用户,权限设置为600。
l 配置medialist.txt的CN节点需与创建虚拟客户端时配置的CN节点IP地址一致。
l 云数据仓库GaussDB(DWS)版本请把medialist.txt文件放置在CN节点沙箱内的数据库用户home目录下,对应的沙箱外路径为/var/chroot/home/Ruby/medialist.txt。
1.8 新建GaussDB虚拟客户端
云数据仓库GaussDB(DWS)备份方案与GaussDB相同,备份恢复前需要先创建GaussDB虚拟客户端。在GaussDB虚拟客户端前,请您先仔细阅读软件兼容性列表,确保要备份的云数据仓库GaussDB(DWS) 数据库版本在兼容范围内。请您根据以下操作创建GaussDB虚拟客户端:
步骤 1 租户或操作员登录管理控制台,单击【资源】→【客户端】,进入客户端管理页面,单击【新建虚拟客户端】→【GaussDB虚拟客户端】。
步骤 2 在对话框中,根据要求输入如下参数:
名称:按照格式要求输入自定义的客户端名称。
备份端口号:备份恢复时,指定的CN节点启动roach master进程监听的端口号,用于管理DWS各节点的roach agent,建议配置为55000。
元数据存储路径:应用于DWS集群所有节点沙箱内,需保证此目录未创建且备份用户对上层目录有操作权限,例如:/home/Ruby/backup。
客户端部署类型:云数据仓库GaussDB(DWS)备份方案需要roach_client工具,此处选择非侵入式。
数据库CN节点IP:填写配置medialist.txt的DWS集群CN节点业务IP,,完成备份后请勿更换CN节点IP。
Roach_Client监听端口号:配置为roach_client工具启动时指定的端口号,详情参考roach_client配置章节。
云数据仓库GaussDB(DWS):备份云数据仓库GaussDB(DWS)时,此选项必须要开启。
选择客户端:选择已部署CBR客户端和roach_client工具的DWS节点,此处客户端列表与medialist.txt中保持一致。
步骤 3 单击“创建”,关闭该界面。 虚拟客户端添加成功,客户端列表新增一条GaussDB客户端。
----结束
1.9 管理GaussDB虚拟客户端
虚拟客户端添加成功后,您可以对虚拟客户端执行以下操作:查看虚拟客户端、编辑虚拟客户端、删除虚拟客户端。
1.9.1 查看GaussDB虚拟客户端
虚拟客户端添加成功后,请您执行以下操作查看虚拟客户端详情:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏依次单击【资源】>【客户端】,进入“客户端”界面。
步骤 3 客户端列表中,鼠标左键单击虚拟客户端所在行,弹出该客户端相关信息。
----结束
1.9.2 编辑GaussDB虚拟客户端
步骤 1 选择已创建的虚拟客户端,单击【编辑】,其中客户端名称,备份端口号,元数据存储路径均支持编辑。
步骤 2 编辑后,单击【修改】,即可编辑成功。
----结束
1.9.3 删除GaussDB虚拟客户端
步骤 1 选择虚拟客户端,单击【删除】。
步骤 2 在信息确认框中输入【YES】,即可删除成功。
虚拟客户端上不能存在备份任务,如若存在,则删除虚拟客户端失败。
----结束
1.10 限制性功能
1.10.1 备份
l 一个GaussDB虚拟客户端仅支持创建一个GaussDB定时备份任务。
l 存储介质仅支持OFS。
l 对于同一个GaussDB 虚拟客户端,每次新建任务进行备份,都需要修改元数据存储路径。
1.10.2 恢复
l 首次发起异机恢复之前,用户需将目标数据库沙箱内的安装配置文件/opt/dws/xml/cluster.xml手动复制到目标数据库所有节点的/opt/huawei目录下,若没有此目录需要手动创建,并把cluster.xml更名为mppdb-install-config.xml,且确保数据库用户有可读权限。
l 异机恢复要求原环境与目标环境的数据库版本、拓扑结构一致(如节点个数、每个节点上的CN/DN实例个数、各节点之间的DN环信息)、管理员用户名一致。不支持跨操作系统类型、跨平台异机恢复。
l 恢复过程中停止任务,会导致数据库损坏或者数据丢失。
l GaussDB支持的最大可恢复连续增量恢复时间点为30个,超过30个连续增量恢复时间点恢复可能会导致任务卡住。
1.10.3 其他
l 客户端上有定时备份恢复任务正在进行时,不允许创建归档恢复任务。
2 DWS数据库定时备份
2.1 关于备份
在 CBR 中,备份是一种任务驱动型进程,执行备份之前,您需要先新建备份任务。备份任务是备份需求的一个配置集合单元,备份任务定义了备份内容、备份选项和备份数据存放的位置等。备份任务的新建操作,请您参考新建备份任务;备份任务新建成功后您可以对其进行管理,具体内容请参考2.3。
CBR 将使用GaussDB数据库Roach工具进行备份。关于备份原理的具体内容,请您参考2.1.2 备份原理。
首次备份时,任务将进行全量备份,后续可以根据您的需求设置备份类型为完全备份或增量备份。更多内容,请参考2.3.2。
CBR 对 DWS数据库进行的备份属于代理备份,即备份前需要安装代理客户端。有关外接客户端的相关内容,请参考1.8新建GaussDB虚拟客户端和1.9管理GaussDB虚拟客户端进行使用。
2.1.1 DWS备份支持功能
表2-1 DWS备份功能支持
功能 |
子功能 |
支持 |
备注 |
备份 |
完全备份 |
√ |
- |
增量备份 |
√ |
- |
|
整库备份 |
√ |
集群备份 |
|
重复数据删除 |
√ |
- |
|
数据压缩 |
√ |
快速压缩与强力压缩 |
|
传输和存储加密 |
√ |
- |
|
流量控制 |
√ |
- |
|
备份自动重试 |
√ |
- |
|
数据保留策略 |
按时间保留 |
√ |
- |
强制数据保留 |
√ |
- |
|
按副本数保留 |
√ |
- |
|
按备份策略的备份周期设置副本保留策略 |
√ |
- |
|
远程复制 |
- |
√ |
- |
磁带归档 |
- |
√ |
- |
告警 |
- |
√ |
- |
日志 |
- |
√ |
- |
2.1.2 备份原理
步骤 1 Web前端启动备份任务,将消息传给后端。
步骤 2 后端的备份服务下发备份任务消息至所有客户端。
步骤 3 主节点客户端调起本机上的Roach工具。
步骤 4 主节点客户端上的Roach工具调起其它节点的Roach工具。
步骤 5 Roach通过XBSA接口和命名管道将备份数据返回至客户端。
XBSA接口为目前云数据仓库GaussDB(DWS)采用的备份恢复接口
步骤 6 客户端将备份数据传送到送到存储服务。
----结束
2.1.3 备份方式
CBR备份DWS集群的备份方式支持完全备份和增量备份。
2.1.3.1 完全备份
将选定的数据源完全备份到指定目的地的备份集中。
说明
l 首次备份时,建议执行一次完全备份;若首次备份选择增量备份,则会自动转为完全备份。
l 恢复集群后,首次备份不支持增量备份。
l 完全备份即为一个副本。
l 如何启用完全备份,请参考2.3.2。
2.1.3.2 增量备份
备份新增的数据到介质中,同时产生相应的时间点。在尚未进行完全备份的情况下,进行增量备份时,会自动转为完全备份。
说明
l 在备份介质为OFS的任务中,增量备份不是一个副本,增量备份和它依赖的所有备份共同组成一个副本。
l 如何启用增量备份,请参考2.3.2。
2.1.4 数据保留策略
当您的管理控制台上存在大批量的备份任务时,您可能会遇到备份存储空间不够用的情况。数据保留策略将为您解决这类烦恼,一旦您按需配置数据保留策略后,系统将根据数据保留期限、保留副本个数或备份策略的备份周期来保留备份副本,达到备份存储空间循环利用的效果。同时,CBR 也支持同一个数据保留策略关联不同备份任务,为您减少维护多个备份任务的工作量。
CBR 为您提供以下三种数据保留策略:
l 数据保留期限:超过设置时间的副本将被自动清理。
l 保留副本个数:超过设置个数的副本将被自动清理。
l 按备份策略的备份周期设置副本保留策略:与备份策略结合使用,根据不同的备份策略设置不同的副本保留数。
2.1.4.1 新建数据保留策略
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【数据保留策略】,进入“数据保留策略”界面。
步骤 3 在当前界面,单击【新建】按钮,系统弹出“新建数据保留策略”对话框。
步骤 4 在对话框中,根据要求配置如下参数:
1. 名称:输入数据保留策略的名称。
2. 数据保留策略:默认关闭,须开启后才能继续配置。
− 数据保留期限:默认保留 1 年的备份副本,即从使用该策略开始到 1 年后,这期间产生的副本将被保留,超过 1 年的副本将被自动清理。
− 数据保留期限配置参数范围为 1~999;可以选择年、月、周、天为单位。
− 保留副本个数:默认保留 2 个副本,即同一备份任务的副本超过 2 个后,最旧的副本将被自动清理。保留副本个数配置参数范围为 1~1024。
− 按备份策略的备份周期设置副本保留策略:
如果备份策略是按天设置,则默认保留 30 个副本。
如果备份策略是按周设置,则默认保留 24 个副本。
如果备份策略是按月设置,则默认保留 12 个副本。
如果备份策略是按年设置,则默认保留 4 个副本。
按照备份策略的备份周期所有参数配置范围均为 1~99999。
未勾选复选框,则默认保留所有副本。
勾选复选框,但任务没有使用此备份周期的备份策略,则保留自动发起的所有副本。
例如:启用 “按年备份策略”,但任务使用的备份策略没有年度备份策略,则保留所有备份策略自动产生的全部副本。
如果某一个备份周期的备份策略存在多个,则保留副本数为此类备份周期的所有备份策略产生的副本累加。
例如:任务关联了 4 个年度备份策略,则最终将保留 1 年内的 4 个副本。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.4.2 备份任务关联/移除数据保留策略
数据保留策略新建完成后,您必须将其应用到备份任务上才可以生效。如果应用了某数据保留策略的任务不再需要此模板,您也可以选择移除。
注意事项
l 每个备份任务仅支持添加一个数据保留策略,重复添加后系统将默认使用最近一次添加的模板。
l 正在运行中的备份任务不支持添加和移除数据保留策略,请您耐心等待任务运行结束后再添加或移除。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据备份】→【备份】,进入“备份”界面。
步骤 3 在当前界面,选中一个或多个状态为“未启动”的任务,单击【策略】→【添加数据保留策略】,系统弹出“添加数据保留策略”对话框。
步骤 4 在对话框中,选择一个适合该任务的数据保留策略。如果任务之前已经配置过其他策略,这次新的模板将替代旧的策略重新生效。
步骤 5 确认无误后,单击【确定】按钮完成操作。
备份任务添加策略后,数据保留策略即刻生效。
步骤 6 如果您想要移除策略,请在 “备份” 界面,选中一个或多个已配置策略且状态为 “未启动”的任务,单击【策略】→【移除数据保留策略】,系统弹出“提示”对话框。
步骤 7 请您仔细阅读提示内容:“移除策略后,关联备份计划的副本将不再按照该策略进行保留,仍要继续移除吗?(一个计划如果没有数据保留策略,则该计划的副本将会全部保留)”确认无误后,单击【确定】按钮完成操作。
步骤 8 备份任务移除策略后,数据保留策略即刻失效。
----结束
2.1.4.3 编辑数据保留策略
如果您需要对当前已有的数据保留策略相关配置做修改,您可以执行以下操作编辑数据保留策略。
注意事项
l 如果数据保留策略绑定的任务正在运行中,您将无法编辑该模板。请您耐心等待任务运行结束后再编辑。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【数据保留策略】,进入“数据保留策略”界面。
步骤 3 在当前界面,选中一条数据保留策略,单击【编辑】按钮,系统弹出“编辑数据保留策略”对话框。
步骤 4 在对话框中,您可以关闭数据保留策略,也可以修改数据保留策略条件。名称暂不支持修改。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.4.4 删除数据保留策略
如果您不再需要某数据保留策略,您可以执行以下操作删除数据保留策略。
注意事项
l 如果数据保留策略绑定的任务正在运行中,您将无法删除该模板。请您耐心等待任务运行结束后再删除。
l 支持批量删除,您可以同时删除多个数据保留策略。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【数据保留策略】,进入 “数据保留策略” 界面。
步骤 3 在当前界面,选中一条或多条数据保留策略,单击【删除】按钮,系统弹出“提示”对话框。
步骤 4 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.4.5 复制数据保留策略
如果您想复用某策略,并修改个别参数时,为了简便操作,您可以复制数据保留策略。
注意事项
l 复制的数据保留策略与原模板保留策略配置相同,如果您需要修改,请使用编辑功能。
l 复制的数据保留策略必须进行重命名。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【数据保留策略】,进入“数据保留策略”界面。
步骤 3 在当前界面,选中一条数据保留策略,单击【复制】按钮,系统弹出“复制数据保留策略”对话框。
步骤 4 在对话框中,根据要求输入数据保留策略的名称。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.5 备份策略
CBR 支持为备份任务关联备份策略,用于自动调度各种备份任务的运行。开启备份策略功能,您无需手动进行备份操作,系统将自动按照备份策略中设置的时间和备份模式开始作业。为了确保生产数据的安全性和恢复的需求,您需要谨慎配置备份策略。
当您的管理控制台上存在大批量的备份任务时,为减少您维护多个备份任务的工作量,CBR 支持为备份任务统一关联同一个备份策略。
组成要素
备份策略将由以下几个要素组成:
l 备份方式
l 备份周期
l 是否重复发起
l 需备份的数据量
l 需使用的备份空间
备份周期设置建议
备份的周期决定了进行恢复任务时可恢复的状态点,备份周期越频繁,能恢复到越接近故障点的状态。值得注意的是,过于频繁的备份业务,会影响系统的性能,从而对正常业务产生不良影响;频繁的备份业务会产生大量的备份文件,不便于管理,在恢复时也较为复杂;也会产生过多的备份数据,占用大量的磁盘空间。因此备份周期需要全面考虑恢复的要求,备份存储空间的限制,对正常业务不会产生影响等因素。
因此,建议您:
l 一般业务可以每周末数据应用比较平缓的时候,进行一次完全备份,每天进行一次增量备份。
l 重要的生产数据且数据量不大的情况下,可以每天进行一次增量备份。
l 有较小占用生产客户端资源的需求的情况下,可以初始进行一次完全备份,后续进行永久增量备份。
l 备份周期应至少大于备份时长,否则会导致备份过程中出现异常。
2.1.5.1 新建备份策略
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,单击【新建】按钮,系统弹出“新建备份策略”对话框。
步骤 4 在对话框中,根据要求配置如下参数:
1. 策略名称:输入备份策略的名称。
2. 备份周期:默认为每1天,即每天发起一次备份。
− 当备份周期为天,支持的配置参数范围为1~365。
− 当备份周期为周,默认为每周日发起备份,支持选择周一~周日且支持多选。
− 当备份周期为月,默认每月1日发起备份,支持的配置参数范围为1~31。您可以选择“若当月无选定日期则在最后一天触发”。
− 当备份周期为年,默认每年1月1日发起备份,支持选择具体日期发起备份。
3. 重复发起:默认不开启,开启该项,则在任务第一次发起后,系统将按照所设定的持续时间和频率进行重复发起。
重复发起遵循以下原则:
− 持续时间和频率均支持以分钟或小时为单位。
− 如果以分钟为单位,持续时间的配置参数范围为2~59,频率的配置参数范围为1~58。
− 如果以小时为单位,持续时间的配置参数范围为2~24,频率的配置参数范围为1~23。
− 支持持续时间和频率单位不同,但频率必须小于持续时间。
如果在持续时间内达到了频率时间,且上一个备份任务还没有停止的情况下,系统不会发起备份。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.5.2 备份任务启用/禁用备份策略
备份策略新建完成后,您必须将其应用到备份任务上才可以生效。如果应用了某备份策略的任务不再需要此模板,您也可以选择移除。
注意事项
l 每个备份任务支持添加并启用多个备份策略。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据备份】→【备份】,进入“备份”界面。
步骤 3 在当前界面,选中一个或多个任务,单击【策略】→【备份策略】,系统弹出“备份策略”对话框。
步骤 4 在对话框中,单击【添加】按钮,系统弹出“添加”对话框。
步骤 5 在对话框中,选择一个备份策略并选择合适的备份方式,如完全备份或增量备份;选择该策略发起的时间。
发起时间必须结合策略中重复发起时间设置。比如,在13:01设置了策略,且该策略发起时间为12:00,重复发起持续2小时,每5分钟发起一次,那么第一次备份不会在第二天的12:00,而是在当天13:05分开始。这是因为在13:01之后仍存在策略的有效发起时间(12:00开始,14:00结束)。
步骤 6 确认无误后,单击【确定】按钮回到“备份策略”对话框。
步骤 7 如果需要添加多个备份策略,请再次单击【添加】按钮。
步骤 8 在对话框中,选择一个或多个备份策略,单击【启用】按钮,原来“禁用”状态的策略变为“启用”。
步骤 9 如果您不希望备份策略再次应用于此备份任务,您可以单击【禁用】按钮。您另外可以删除列表中的备份策略。
步骤 10 备份策略禁用后,将即刻失效。
----结束
2.1.5.3 编辑备份策略
如果您需要对当前已有的备份策略相关配置做修改,您可以执行以下操作编辑备份策略。
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条备份策略,单击【编辑】按钮,系统弹出“编辑备份策略”对话框。
步骤 4 在对话框中,您可以修改备份周期和重新设置重复发起。名称暂不支持修改。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.5.4 复制备份策略
如果您想复用某策略,并修改个别参数时,为了简便操作,您可以复制备份策略。
注意事项
l 复制的备份策略与原模板的配置相同,如果您需要修改,请使用编辑功能。
l 复制的备份策略必须进行重命名。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条备份策略,单击【复制】按钮,系统弹出“复制备份策略”对话框。
步骤 4 在对话框中,根据要求输入备份策略的名称。
步骤 5 确认无误后,单击【确定】按钮完成操作。
----结束
2.1.5.5 导出/导入备份策略
导出备份策略至本地,可以再导入至其他CBR管理控制台,这样能简便您再次创建策略的操作。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条或多条备份策略,单击【导出】按钮,备份策略将以“.xls”格式保存至本地。
导出后的表格内容如下。
l name:备份策略的名称。
l type:代表策略周期,识别按天/按周/按月/按年发起的备份策略,type 为“2”表示按天为周期发起,“3”表示按周为周期发起,“4”表示按月为周期发起,“5”表示按年为周期发起。
l needInterval:重复发起功能,开启显示为“1”,不开启显示为“0”。
l duration:重复发起中的持续时间。
l durationUnit:持续时间的单位,单位为分钟显示为“1”,单位为小时显示为“2”。
l frequency:重复发起中的频率。
l frequencyUnit:频率的单位,单位为分钟显示为“1”,单位为小时显示为“2”。
l params:记录发起时间,按照年记录的是某月某天,按月记录的是当月的发起天,按周记录的是当周发起的天,按天记录按几天为周期发起。
l auther:新建该备份策略的用户。
l createdTime:新建备份策略的时间。
l updateTime:更新备份策略的时间。
步骤 4 如果需要导入策略,请您在本地先根据下载的文档格式编辑好策略的参数。确认无误后,在管理控制台的“备份策略”界面,单击【导入策略】按钮。系统弹出“导入策略”对话框。
步骤 5 在对话框中,单击【浏览】按钮,选择需要导入的策略。确认无误后,单击【确定】按钮完成操作。
步骤 6 导入成功后,“备份策略”界面将显示导入的策略。
----结束
2.1.5.6 删除备份策略
如果您不再需要某备份策略,您可以执行以下操作删除备份策略。
注意事项
l 删除备份策略后,使用该策略的任务将不再按照该策略执行。请谨慎操作。
l 支持批量删除,您可以同时删除多个备份策略。
操作步骤
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【策略】→【备份策略】,进入“备份策略”界面。
步骤 3 在当前界面,选中一条或多条备份策略,单击【删除】按钮,系统弹出“提示”对话框。
步骤 4 仔细阅读警告内容:“删除策略后,使用该策略的任务将不再按照该策略执行,仍要继续删除吗?”确认无误后,单击【删除】按钮完成操作。
----结束
2.2 新建备份任务
2.2.1 新建备份任务步骤
CBR中,备份是一种任务驱动型进程,执行备份之前,您需要先新建备份任务,请您根据以下操作新建备份任务:
步骤 1 租户或操作员登录管理控制台,单击【定时数据保护】 → 【数据备份】进入数据备份页面,单击【新建】→ 【数据级备份任务】,进入新建备份任务页面第一页。
步骤 2 进入新建备份任务页面第一页后,在“请选要保护的对象:”处勾选“客户端”,默认勾选客户端,客户端选择GaussDB虚拟客户端,“请选择要保护的应用类型”处勾选GaussDB数据库(选择GaussDB虚拟客户端后会默认勾选),单击【下一步】按钮。
步骤 3 进入新建备份任务页面第二页后,选择数据库用户,选择数据库版本,选中数据源,然后单击【下一步】继续。
步骤 4 进入新建备份任务页面第三页后,直接单击“下一步”。
l 【传输和存储加密】默认开启,开启该选项后默认启用AES256加密算法,可选择启用SM4加密算法;
l 【数据压缩】默认不开启,开启该选项后默认启用快速压缩,可选择启用强力压缩,选择快速压缩,具有更快的压缩速度。选择强力压缩,具有更高的压缩率;
l 【重复数据删除】默认不开启,开启该选项后,单击“重删指纹库”后方的“选择”按钮后,可选择“自动创建指纹库”或“自定义创建指纹库”。
只有在admin用户下创建了默认指纹池,“自动创建指纹库”选项可选。选中“自动创建指纹库”选项,会自动为该备份任务创建一个指纹库。
选择“自定义创建指纹库”后,单击“选择”,进入选择重删指纹库界面。
在“重删指纹库”界面勾选一个指纹库,然后单击“确定”,退出“请选择重删指纹库”界面。退出后您会看到“请选择重删指纹库”后方展示了您选择的指纹库。
如您要想开启重复数据删除,必须提前在管理控制台新建重删卷、指纹池和指纹库。
l 【重删高级配置】默认不开启,开启该选项可以启用重删的高级配置。
l 【数据一致性校验】该选项可选择MD5、CRC32算法校验,开启了此选项的备份任务可在“定时数据保护”-“数据校验”中对备份任务进行校验。
l 【流量控制】默认不开启,开启该选项可以启用限速的功能,限制传输速度不超过限速值*客户端个数;流量控制的限速时间段不允许有交叠。
l 开启该选项后,必须设置最大备份速度,范围1~1024MiB/s。
l 对于开启流量控制功能的同时,还开启了数据压缩或数据重删功能的备份任务,任务完成后,应以实际备份数据量除以总运行时间所得到的实际传输速度为准,该速度不超过流量控制选项中所配置的最大速度*客户端个数即为正确。
l 【备份自动重试】默认不开启,开启该选项可以启用备份失败自动重试的功能;
备份自动重试功能最大重试等待时间为30分钟,自动重试最大次数为5次。
l 【强制数据保留】默认不开启,开启后默认值为1,最大可设置364635天。
步骤 5 进入新建备份任务页面第四页后,填写任务名称和备注,任务名称为中文、大小写字母、数字、'-'、'_'、'.'、'@'组成,长度为3-256个字符,全局不可重复。备注信息最大不超过50个字符。
步骤 6 信息确认页面。单击“确定”,新建任务到此完成。
----结束
2.2.2 监控
任务发起备份后,您可以在“监控”工作区观察任务的实时执行情况,请您根据以下操作查看任务的执行情况:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“监控”工作区查看任务的实时信息。
步骤 4 “监控”工作区可以直接观察任务的执行情况,也可以单击任务后方的“详情”进一步观察任务的执行情况。
步骤 5 “详情”界面分为两个部分:“执行概要”和“执行输出”,您可以在两个部分之间切换以查看具体信息。
步骤 6 “详情”界面单击“>”可以收起“详情”。
----结束
2.2.3 历史记录
备份任务执行结束后,您可以进入“历史记录”工作区查看任务最终的执行情况。
2.2.3.1 查看历史记录
请您根据以下操作查看历史记录:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“历史记录”工作区查看历史记录。
步骤 4 “历史记录”工作区可以直接观察任务的执行结果,也可以单击任务后方的“详情”进一步查看任务的执行结果。
步骤 5 “详情”界面分为两个部分:“执行概要”和“执行输出”,您可以在两个部分之间切换以查看具体信息。
步骤 6 当您进入“详情”界面的“执行输出”部分时,为了方便您查看执行输出,您可以单击“导出”,将执行输出导出到本地进行查看。
步骤 7 单击“导出”后您将有两种选择TXT和XLS,TXT导出后将自动打开文本,XLS导出后需要您手动将其打开,请您根据自己的需求选择导出格式。
l DWS数据库备份任务运行结果可以为已停止、成功、失败、以及成功有警告,只有成功和成功有警告的结果才会产生时间点。
l 已停止:备份任务运行过程中触发停止,任务运行结果为已停止,如何触发备份任务停止,具体参阅2.3.3 停止备份任务,触发停止后程序会自动还原并清理备份创建的资源。
l 成功:备份任务必须满足以下要求,其备份结果才会为成功1)备份任务执行成功;2)任务执行输出没有警告或报错信息。
l 失败:以下情况可能导致备份任务执行结果为失败1)GaussRoach.py异常退出;2)元数据存储路径拼写错误(如/home/omm/01写成了/HOME/OMM/01)或该路径针对omm用户权限不够;3)备份任务触发了一些异常,如进程被中断和网络被中断等。4) DWS数据库状态异常。任务执行失败后可能存在资源残留,请您手动清理残留资源。
l 成功有警告:以下情况可能导致备份任务执行结果为成功有警告:1)第一次备份,备份方式选择增量备份,备份结束,备份成功,但有增量备份自动转为完全备份的警告。任务执行结果为成功有警告时,请及时查看警告原因,并做出相应调整。
----结束
2.2.3.2 删除历史记录
为了避免任务历史记录数量越来越多,给您带来查询性能损耗,建议您适当的进行历史记录的删除,您将有两种删除历史记录有方式通过历史记录删除策略工具删除,手动删除历史记录,其操作如下:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“历史记录”工作区删除历史记录。
步骤 4 “历史记录”工作区勾选需要删除的历史记录,单击“删除”,进入“警告”界面。
步骤 5 “警告”界面,单击“删除”,退出“警告”界面。
步骤 6 历史记录删除成功后,“历史记录”界面不能再看到删除的历史记录。
支持批量删除历史记录。
----结束
2.3 管理备份任务
2.3.1 查看备份任务
请您根据以下操作查看备份任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏单击【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“备份”工作区查看备份任务详情。
步骤 4 “备份”工作区,单击备份任务后方的“详情”,打开“详情”界面。
步骤 5 “详情”界面分为四个部分“基本信息”、“选项”、“数据源”以及“策略”,请您可以根据自己的需求进行查看。
----结束
2.3.2 启动备份任务
启动备份任务即对任务发起备份,将备份任务的数据源备份到存储服务器中,您可以有两种启动方法:自动启动和手动启动,自动启动具体操作请参阅2.1.3,手动启动其操作如下:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏单击【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“备份”工作区启动备份任务。
步骤 4 “备份”工作区选中备份任务,单击“启动”,打开“启动任务”界面。
步骤 5 “启动任务”界面中,单击“备份方式”下拉框,若是DWS数据库,您有两个选择:完全备份和增量备份,请您先仔细阅读2.1.3备份方式,然后选择合适的备份方式。
步骤 6 “执行备注”后方的输入框输入执行备份,然后单击“启动”,退出“启动任务”界面。
“备份方式”选项为必选项。
步骤 7 任务启动成功后,您可以在“备份”工作区看到任务的状态变为“正在运行”,您可以进入“监控”工作区实时观察任务执行情况。
----结束
2.3.3 停止备份任务
您需要停止备份任务时,请您执行以下操作:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏单击【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”界面分为三个工作区“备份”、“监控”以及“历史记录”,请您在“监控”工作区停止备份任务。
步骤 4 “监控”工作区选中备份任务,单击“停止”,打开“警告”视图。
步骤 5 “警告”视图中,单击“停止”,退出“警告”界面。
步骤 6 请稍等几秒钟,您会看到单击停止的任务已不在“监控”工作区,此时您可以进入“历史记录”工作区,查看到任务运行结果为已停止。
----结束
2.3.4 编辑备份任务
步骤 1 租户或操作员登录管理控制台,单击【定时数据保护】 → 【数据备份】进入数据备份页面,选中任务,单击【编辑】,进入编辑备份任务页面第一页。
步骤 2 进入编辑备份任务页面第一页后,客户端不可修改,要保护的应用类型不可修改,单击【下一步】按钮。
步骤 3 进入编辑备份任务页面第二页后,数据库用户与版本不可修改,选中数据源,然后单击【下一步】继续。
步骤 4 进入编辑备份任务页面第三页后,可修改流量控制、强制数据保留、备份自动重试,单击“下一步”。
步骤 5 进入编辑备份任务页面第四页后,任务名称不可修改。备注信息最大不超过50个字符。单击【完成】,编辑任务成功。
----结束
2.3.5 删除备份任务
当您不再需要备份任务时,请您根据以下操作删除备份任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据备份】,打开“数据备份”界面。
步骤 3 “数据备份”视图分为三个工作区“备份”、“监控”以及“历史记录”,请您在“备份”工作区删除备份任务。
步骤 4 “备份”工作区勾选备份任务,单击“删除”,打开“警告”界面。
步骤 5 “警告”界面的输入框输入“YES”,然后单击“删除”,退出“警告”界面。
删除备份任务仅表示备份任务被删除,并不会清理备份数据,您依旧可以使用备份数据。
----结束
2.3.6 清理备份数据
步骤 1 租户或操作员登录管理控制台,单击【定时数据保护】 → 【数据清理】,在数据清理界面单击【新建】按钮,新建数据清理任务。
数据状态显示占用,则该任务不能被清理。占用存在的情况:任务正在进行备份和恢复,应该被视为占用。
步骤 2 选择任务,单击【下一步】,请选择要清理的副本,默认清理全部副本,也可以选择清理指定副本。
在清理全部时间点的选项下,最新时间点可以被清理。选择清理部分时间点时,最新时间点置灰,不能清理。
步骤 3 单击【下一步】,弹出任务确认界面,单击完成。
步骤 4 弹出数据清理信息确认界面,输入YES。此处区分大小写,必须填大写半角英文字母。
步骤 5 数据清理完成之后,分别检查设备存储容量和OFS卷空间是否相应的发生变化。
数据清理是在后台进行删除的,可能需要一段时间才能完全删除。
----结束
3 DWS数据库定时恢复
3.1 关于恢复
在CBR中,恢复是一种任务驱动型进程。执行恢复之前,您需要先新建恢复任务。恢复任务是恢复需求的一个配置集合单元。恢复任务指定了恢复数据源、恢复时间点,恢复目的地等,请参阅3.2进行恢复任务的新建,恢复任务新建成功后您可以对其进行管理,具体参阅3.3 管理恢复任务。
3.1.1 DWS恢复支持功能
表3-1 DWS恢复功能支持
功能 |
子功能 |
支持 |
备注 |
恢复 |
原机原位置恢复 |
√ |
- |
异机异位置恢复 |
√ |
- |
|
整库恢复 |
√ |
整个实例 |
|
远程复制 |
- |
√ |
支持源端和目的端恢复 |
磁带归档恢复 |
- |
√ |
- |
告警 |
- |
√ |
- |
日志 |
- |
√ |
- |
3.1.2 恢复原理
CBR恢复 DWS数据库,原理如下:
步骤 1 Web前端启动恢复任务,将消息传给后端。
步骤 2 后端的备份恢复服务下发恢复任务消息至所有客户端。
步骤 3 主节点客户端调起本机上的Roach工具。
步骤 4 主节点客户端上的Roach工具调起其它节点的Roach工具。
步骤 5 Roach通过XBSA接口和命名管道告知客户端需恢复哪些数据。
步骤 6 客户端向存储服务请求恢复相应的数据。
步骤 7 存储将需恢复的数据返回给客户端。
步骤 8 客户端通过命名管道和XBSA接口将需恢复数据返回给Roach。
3.2 新建恢复任务
CBR中,恢复是一种任务驱动型进程,执行恢复之前,您需要先新建恢复任务,请您根据以下操作新建恢复任务:
第一步 打开新建恢复任务向导
请您根据以下操作打开新建恢复任务向导:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】→【数据恢复】→【恢复恢复数据】,进入“恢复恢复数据”界面。
步骤 3 在当前界面,单击【新建】按钮,进入新建恢复任务向导。
第二步 选择恢复介质和要恢复的恢复任务
进入新建恢复任务页面第一页后,选择备份介质与要恢复的数据,单击【下一步】。
本地“OFS”包括本地恢复任务恢复的数据和反向复制的数据;目的端“OFS”包括从本地同步到目的端的数据。
第三步 选择时间点和要恢复的数据
进入新建恢复任务页面第二页后,若为云数据仓库GaussDB(DWS)的恢复任务,选择需恢复的时间点,勾选数据源,单击下一步即可。
第四步 选择恢复目的地
进入新建恢复任务页面第三页后,选择恢复的客户端,选择用户名,设置恢复至异机选项,设置完成之后,单击【下一步】。
若想异机恢复,选择恢复的客户端时,选择该异机的客户端,并开启恢复至异机选项,但该异机数据库需满足异机恢复限制条件。
第五步 配置任务名称和任务备注
在向导4中,配置“任务名称”和“任务备注”。
l “任务名称”默认已配置,不支持修改。
l “任务备注”后方的输入框输入自定义的任务备注。
“任务备注”选项为非必填项,但为了您使用方便,建议您为恢复任务自定义一个任务备注,其字符要求0~50个字符。
第六步 完成新建恢复任务向导
步骤 1 在弹出的任务信息确认页面确认恢复任务的各项信息正确。输入【YES】,单击【确定】,即发起恢复任务。
步骤 2 单击完成,创建恢复任务成功,可以单击【详情】,查看目前任务的执行输出。
----结束
3.3 管理恢复任务
3.3.1 观察和查看恢复任务
恢复任务默认新建成功立即执行,请您根据以下操作观察和查看恢复任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏单击【定时数据保护】>【数据恢复】,打开“数据恢复”界面。
步骤 3 “数据恢复”界面分为两个工作区“恢复恢复数据”和“恢复归档数据”,请您在“恢复恢复数据”工作区新建恢复任务。
步骤 4 “恢复恢复数据”工作区,单击恢复任务后方的“详情”,打开“详情”界面。
步骤 5 “详情”界面分为三个部分:任务详情”、“执行概要”、“执行输出”,您可以根据自己的需求进行查看。
步骤 6 当您进入“详情”界面的“执行输出”部分时,为了方便您查看执行输出和虚拟机执行输出,您可以单击“导出”,将执行输出导出到本地进行查看。
步骤 7 单击“导出”后您将有两种选择TXT和XLS,TXT导出后将自动打开文本,XLS导出后需要您手动将其打开,打开后您可以使用EXCEL的功能对其进行浏览和过滤等操作,请您根据自己的需求选择导出格式。
l DWS数据库恢复任务运行结果可以为已停止、成功、失败,只有成功才表示恢复成功。
l 已停止:恢复任务运行过程中触发停止,任务运行结果为已停止,如何触发恢复任务停止,具体参阅3.3.2 停止恢复任务,触发停止后程序会自动还原并清理恢复创建的资源。
l 成功:恢复任务必须满足以下要求其结果才会为成功1)所有节点恢复成功;2)执行输出和虚拟机执行输出均没有警告或错误信息。
l 失败:以下情况可能导致恢复任务执行结果为失败1)恢复目的地环境异常,如断电;2)恢复过程中任务触发了一些异常,如eef进程被中断和网络被中断等。任务执行失败后可能存在资源残留,请您手动清理残留资源。
----结束
3.3.2 停止恢复任务
您需要停止恢复任务时,请您执行以下操作:
步骤 1 租户或操作员登录管理控制台。
步骤 2 首页的导航栏单击【定时数据保护】>【数据恢复】,打开“数据恢复”界面。
步骤 3 “数据恢复”界面分为两个工作区“恢复恢复数据”和“恢复归档数据”,请您在“恢复恢复数据”工作区停止恢复任务。
步骤 4 “恢复恢复数据”工作区选中恢复任务,单击“停止”,打开“警告”界面。
步骤 5 “警告”界面中,单击“停止”,退出“警告”界面。
步骤 6 请稍等几秒钟,您将会查看到任务运行结果为已停止。
若已经恢复了部分数据,此时停止恢复任务,停止成功,已恢复的数据将会被清理。
----结束
3.3.3 删除恢复任务
当您不想保留恢复任务历史记录时,您可以执行以下操作删除恢复任务:
步骤 1 租户或操作员登录管理控制台。
步骤 2 单击左侧导航栏【定时数据保护】>【数据恢复】,打开“恢复恢复数据”界面。
步骤 3 “恢复恢复数据”界面勾选需要删除的恢复任务,单击“删除”,进入“删除”界面。
步骤 4 “删除”界面,输入框输入“YES”,单击“删除”,退出“删除”界面。
步骤 5 恢复任务删除成功后,“恢复恢复数据”界面不能再看到删除的恢复任务。
l 支持批量删除恢复任务。
l 任务运行结束后才能执行删除操作。
----结束
4 典型场景和问题
4.1 备份存储空间容量较小的情况下,备份任务应如何配置
如果您的备份数据占用空间越来越大,而管理保存数据的成本及数据中心空间和能耗也变得越来越严重,随着时间的推移冗余数据越来越多时,您希望缩减数据占用空间,降低成本,最大程度地利用已有资源,那么您可以在创建任务时,进行以下配置:
l 开启重复数据删除
您可以使用重复数据删除功能,创建重删卷、指纹池以及指纹库,参考2.2.1将备份任务开启重复删除功能,参考2.2.3历史记录章节查看备份任务的执行概要获悉备份任务的重删率。一般而言,数据重复度越高,重删率越高。DWS的初次重删率可达90%左右。
l 重删率为(已完成数据量-实际恢复数据量)/已完成数据量
l 由于重删率的高低与数据量和数据内容息息相关,各比率值仅供参考,极端情况比率可达接近100%或接近0。
l 开启压缩
您可以参考2.2.1新建备份任务步骤章节,将备份任务的压缩选项开启,选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度;强力压缩具有更高的压缩率;但开启强力压缩的备份任务性能比开启快速压缩的备份任务性能稍差。同时,数据压缩会占用一定的CPU资源,建议根据您的需求选择相应的数据压缩方式。您可参考2.2.3历史记录章节查看备份任务的执行概要获悉备份任务的实际备份数据量。
DWS中压缩为源端压缩,源端压缩指在数据源进行,传输的是已经压缩后的数据。其中,强力压缩的压缩比一般在1/6到1/13之间,快速压缩的压缩比一般在1/2-1/9之间。
l 重复数据删除和数据压缩同时开启,能得到更高的数据压缩率和性能。一般而言,若重复数据删除和强力压缩同时开启,数据可压缩至1/10-1/15。若重复数据删除和快速压缩同时开启,数据可压缩至1/5-1/15。
l 重复数据删除和数据压缩均会占用更高的CPU和内存资源,请保障服务器资源充足,再进行以上特性的开启。
l 由于比率值高低与数据量和数据内容息息相关,各比率值仅供参考,极端情况比率可达接近100%或接近0。
4.2 在网络资源紧张的情况下,备份任务应如何配置
如果您的恢复数据网络通道资源紧张,那么您可以在创建任务时,进行以下配置:
l 设置流量限制,限制备份的速度
您可以参考2.2.1新建备份任务步骤将备份任务开启流量限制功能,参考2.2.3历史记录章节查看备份任务的执行概要获悉备份任务的传输速率。
l 设置合理的备份策略,使大容量数据的备份任务发生在业务不繁忙的时间段
您可以参考2.1.5备份策略章节创建策略,根据业务需要设置合理的备份策略。
l 开启重复数据删除
您可以使用重复数据删除功能,创建重删卷、指纹池以及指纹库,参考2.2.1将备份任务开启重复删除功能,参考2.2.3历史记录章节查看备份任务的执行概要获悉备份任务的重删率。一般而言,数据重复度越高,重删率越高。DWS的初次重删率可达90%左右。
l 重删率为(已完成数据量-实际恢复数据量)/已完成数据量
l 由于重删率的高低与数据量和数据内容息息相关,各比率值仅供参考,极端情况比率可达接近100%或接近0。
开启压缩
您可以参考2.2.1新建备份任务步骤章节,将备份任务的压缩选项开启,选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度;强力压缩具有更高的压缩率;但开启强力压缩的恢复任务性能比开启快速压缩的恢复任务性能稍差。同时,数据压缩会占用一定的CPU资源,建议根据您的需求选择相应的数据压缩方式。您可参考2.2.3历史记录章节查看备份任务的执行概要获悉备份任务的实际备份数据量。
DWS中压缩为源端压缩,源端压缩指在数据源进行,传输的是已经压缩后的数据。其中,强力压缩的压缩比一般在1/6到1/13之间,快速压缩的压缩比一般在1/2-1/9之间。
4.3 备份任务失败如何自动重试
如果您遇到以下场景:为了进一步保障客户数据的有效备份,无论是手动备份、还是策略自动触发的备份,一旦备份失败,可以有自动重试的机制,那么在新建备份任务或者在编辑备份任务的时候可开启备份自动重试功能,备份开启备份自动重试功能请参阅2.2.1.和2.3.4。
4.4 GaussDB每个DataNode节点上有多个实例,如何管理roach并发数量
DataNode节点上有多个实例时可修改备份主节点中客户端内的gauss.config配置文件,增加BACKUP_ROACH_PARALLEL_PROCESS和RESTORE_ROACH_PARALLEL_PROCESS配置项,文件路径为:客户端安装目录/HBRBackupClient/etc/ClientService/AggregateApp/gaussdb.config,配置项含义如下:
BACKUP_ROACH_PARALLEL_PROCESS=10 设置备份时roach子进程并发数量为10
RESTORE_ROACH_PARALLEL_PROCESS=12 设置恢复时roach子进程并发数量为12
云数据仓库GaussDB(DWS)中roach默认并发量为DataNode节点中主DN实例数量,即默认值为并发最优值,此时性能较好但会占用更多的硬件资源,若想降低roach资源占用可以设置为低于DataNode节点中主DN实例数量的值。
4.5 如何保证备份数据传输和存储安全
若您希望保障备份在数据传输过程和存储时的安全性,那么您可以参考2.2.1新建备份任务步骤章节,将备份任务的加密选项开启,选择AES256或SM4加密算法。开启数据传输和存储加密
加密功能需要消耗一定的系统资源,开启数据加密的备份任务会对备份恢复的效率存在一定的影响。
4.6 如何将备份数据进行远程复制
如果您遇到以下场景:您觉得仅仅本地备份,在大型灾难面前风险较大,希望有异地备份或多地备份的灾备方案,将备份数据存储到其它主机,并且该存储到其它主机的数据可正常恢复,进一步保障恢复容灾的可靠性,以备不时之需,您可以使用远程复制功能。
4.7 如何将备份数据进行磁带归档
如果您遇到以下场景:您想将备份服务器的定时备份数据再次备份到磁带库中,对备份数据提供低成本的长久保留和二次保护,那么您可以使用GaussDB的磁带归档功能。
4.8 如何将备份数据进行异机恢复
若您想将备份数据在其它数据库恢复,或者在恢复时发现,备份任务中所用的数据库环境已损坏,不可使用;此时您可以将原数据库的备份数据恢复至其它数据库。
前提:在该用户下,有除该数据库之外的其它数据库对应的客户端。您需要参照1.8新建该“其他数据库”所对应的虚拟客户端。
此时,您可以参考3.2新建恢复任务步骤,选择恢复目的地时,选择异机所属虚拟客户端,并开启“恢复至异机”选项。
l 异机恢复的注意事项可参考1.10限制性功能,确保异机所有节点中已配置/opt/huawei/mppdb-install-config.xml文件。
l 不支持跨数据库版本恢复。
l 异机数据库状态正常。
5 常见问题处理
5.1 备份失败,如何排查问题
发起高斯备份任务后,任务失败时,页面会提示报错内容,您可根据报错内容进行判断排查。
l 备份任务执行输出无记录,且客户端后台无eef进程产生。
【问题原因】:客户端的安装目录权限不足755,导致无法产生客户端执行进程。
【解决方案】:赋予客户端安装目录为755权限。
l 备份任务失败,原因是新建备份任务时选错数据库版本。
【问题原因】:客户端的安装目录权限不足755,导致无法产生客户端执行进程。
【解决方案】:赋予客户端安装目录为755权限。
l 备份任务失败,执行输出提示Exception OSError: (12…),原因为管道残留。
【问题原因】:数据库或任务崩坏过,致使管道文件残留,影响下次备份任务
【解决方案】:备份任务开始前,手动去客户端所在主机/home/omm/下,删除.fifo文件
l 备份任务失败,执行输出提示Error : Cluster state is not balance,原因:数据库状态不正常。
【问题原因】:数据库集群状态异常,或主备切换
【解决方案】:手动恢复数据库状态为正常后再进行备份
l 备份失败,原因:创建Metadata文件夹失败。
【问题原因】:DWS备份时,数据库用户对元数据存储目录的权限不足。
【解决方案】:修改元数据存储路径目录权限为777。
l 备份失败,原因:元数据路径目录已存在。
【问题原因】:元数据存储路径已存在。
【解决方案】:修改路径为不存在的路径。
5.2 恢复失败,如何排查问题
发起高斯恢复任务后,任务失败时,页面会提示报错内容,您可根据报错内容进行判断排查。
l 恢复集群时,恢复失败,原因:还原Metadata失败。
【问题原因】:DWS恢复时,数据库用户对元数据存储目录的权限不足。
【解决方案】:修改元数据存储路径目录权限为777。
l 恢复集群时,恢复失败,原因:集群启动失败。
【问题原因】:DWS恢复时,数据库恢复不完整。
【解决方案】:重新发起恢复任务。
6 附录
6.1 云数据仓库GAUSSDB(DWS)节点后台登录方法
此方法为华为内部未发布文档,仅供参考,如果遇到问题请联系HCS管理员或华为。
本章节指导运维人员如何通过运维容器登录租户侧集群节点,登录流程如下:
前提条件:
l 从环境管理员获取HCC Turnkey节点的管理IP地址。
l 已获取连接DWS管理侧MySQL数据库的用户名和密码。
6.1.1 登录CDK master节点
步骤 1 使用浏览器以系统管理员登录ManageOne运维面。
登录地址:https://ManageOne运维面主页的访问地址:31943。例如,https:// oc.type.com:31943。
ManageOne运维面访问地址请参见安装华为云Stack基础服务时由HCC Turnkey 导出的部署参数表中“Portal”页签的“ManageOne运维面”相关信息。
默认帐号密码,请参见 《华为云Stack x.x.x 帐户一览表》的“A类(Portal)” 页签,搜索“ManageOne运维面”获取。
步骤 2 在页面的“常用链接”导航栏中,单击“Service OM”,选择区域后进入Service OM 界面。
步骤 3 进入Service OM页面,并单击“虚拟机”。
步骤 4 查找CDK master节点地址。通过虚拟机列表右上角搜索框,搜索包含“EICommon”关键字的虚拟机(一般有3个,任选一个),记住节点IP。
步骤 5 使用远程工具以opsadmin用户登录CDK master节点,再切换到root用户,IP地址由步骤4获得。
root默认密码:请参见 《华为云Stack x.x.x 帐户一览表》的“A类(后台)”页签,搜索“EICommon-Region-Master-01”获取。
----结束
6.1.2 登录运维容器
步骤 1 在CDK master节点上执行以下命令查询运维容器名称。
> kubectl get pod -n ecf
弹出如下类似信息,找到以“dwsmaintaintool”开头的容器名称,其中STATUS为
Running状态的任何一个容器都可以作为运维容器登录。
步骤 2 执行以下命令登录运维容器。
kubectl exec -it 容器名称 -n ecf bash
其中,容器名称替换为步骤1查到的STATUS为Running状态的一个容器名称,例如
> kubectl exec -it dwsmaintaintool-ff99697f6-vtkcb -n ecf bash
----结束
6.1.3 查询 MySQL 数据库信息
步骤 1 使用浏览器以系统管理员登录CloudScope界面。
登录地址:https://CloudScope界面的访问地址。例如,https:// cloudscope.demo.com。
CloudScope界面访问地址请参见安装自动化变更平台组件时由HCC Turnkey导出的部署参数表中“Portal”页签的“COP”相关信息。
默认帐号密码,请参见 《华为云Stack x.x.x 帐户一览表》的“CloudScopeLite” 页签,搜索“CloudAutoDeploy-CDK”获取。
步骤 2 页面上方导航选择“运维服务 > 变更管理 > CloudAutoDeploy-CDK”进入cdk页面。
步骤 3 页面左上角选择对应的region,左侧导航栏选择“变更管理 > 服务升级”,选择对应的集群,例如“ei-dbs-region”,搜索框搜索dwscontroller,勾选对应的dwscontroller,单击“下一步”。
步骤 4 右侧搜索框中输入关键字“db.”,将数据库ip、端口、用户名及密码密文记录下来。
----结束
6.1.4 解密密码密文
步骤 1 参见6.1.3登录运维容器,进入/opt/cloud/3rdComponent/opsTool。
步骤 2 执行以下命令运行工具。
> java -jar SccTool.jar
步骤 3 按提示输入“3 {密码密文}”进行解密,例如,输入查询MySQL数据库信息的密文值,例如输入
按Enter,得到解密后的密码明文,例如abc123。
----结束
6.1.5 查询集群实例名称
步骤 1 在运维容器上,执行以下语句连接rms数据库。
> mysql -h主机IP -P 端口号 -u数据库用户名 -p数据库用户密码;
> use rms;
其中,主机IP,端口号, 数据库用户名从查询MySQL数据库信息获取。密码从解密密码密文获取。端口号一般为7306,用户名一般为ecf。
步骤 2 连接成功后,执行以下语句查询集群实例名称。
> select name from rds_instance where clusterId='集群ID'
其中集群ID,可以在Console上查看,或者通过ManageOne告警平台的“告警信息” 中获取。
查询结果会返回该集群所有的节点实例名称。
----结束
6.1.6 登录集群实例
步骤 1 登录运维容器成功后,默认在“3rdComponent”的目录下,需进入opsTool目录。
> cd opsTool
步骤 2 执行以下命令登录集群实例,执行命令后如提示输入密码,输入ecf用户解密后的明文密码。
> sh connectTool.sh -uecf -drms -h主机ip -p7306 -n 集群节点实例名称 -t Standalone
输入密码后等待自动登录成功,此时登录到DWS节点沙箱外,上传安装包后即可部署CBR客户端、roach_client工具,DWS相关操作需要登录至沙箱内操作。
步骤 3 切换到Ruby用户,登录集群沙箱。
> su – Ruby ssh `hostname -i`
步骤 4 如果需要登录集群其他节点,则执行以下命令查询节点的IP地址,即回显中的"node_ip",再执行相应命令进入沙箱。
> gs_om -t status –detail
> ssh node_ip
----结束
- 点赞
- 收藏
- 关注作者
评论(0)