直播回顾 | 大数据时代下的数据守护:华为云数仓DWS备份恢复

举报
鲁达 发表于 2024/09/19 17:49:17 2024/09/19
【摘要】 在数据为王的大数据时代,企业的核心竞争力日益依赖于数据的完整性与可靠性。然而,面对数据丢失或误操作的潜在风险,如何确保业务连续性,避免经济损失,成为每个企业必须直面的挑战。华为云数仓DWS,提供高可靠的备份容灾解决方案,为企业用数安全保驾护航。本期《大数据时代下的数据守护:华为云数仓DWS备份恢复》的主题直播中,华为云数仓DWS高级研发专家开翔老师,深入解析了DWS的备份恢复能力,全面解读其...

在数据为王的大数据时代,企业的核心竞争力日益依赖于数据的完整性与可靠性。然而,面对数据丢失或误操作的潜在风险,如何确保业务连续性,避免经济损失,成为每个企业必须直面的挑战。华为云数仓DWS,提供高可靠的备份容灾解决方案,为企业用数安全保驾护航。

本期《大数据时代下的数据守护:华为云数仓DWS备份恢复》的主题直播中,华为云数仓DWS高级研发专家开翔老师,深入解析了DWS的备份恢复能力,全面解读其背后的技术奥秘与实践策略。


一、灾备介绍

因为各类原因,原始数据丢失或由于误操作导致的数据受损的事件时有发生。如果没有数据备份,数据的损坏、丢失将会造成巨大的经济损失。

定期将数据进行备份,则当灾难发生时,就可以利用之前的备份数据进行恢复,从而最小化损失。同时数据备份恢复也是国家政策法规的要求,所以数据备份和恢复工作是一项不可忽视的系统工作。

备份恢复在保证数据高可用方面起到巨大作用,其具体应用场景有如下几种:

‌(1)数据恢复‌

通过备份和恢复机制,可以在数据丢失或损坏时迅速恢复数据,确保数据的完整性和安全性。这有助于减少数据损失,保护业务连续性,避免因数据丢失或损坏导致的业务中断和客户信任度的下降‌。

‌(2)数据备份

定期备份数据可以防止数据丢失或损坏,无论是由于硬件故障、病毒攻击还是其他不可抗力因素。备份数据还可以用于数据迁移和更换设备,简化数据迁移过程,减少风险和麻烦‌。

‌(3)故障处理

备份和恢复机制可以用于故障处理和错误排查,提高数据库的稳定性和可用性。在发生故障时,可以通过恢复备份数据快速解决问题,恢复正常运行‌。

‌(4)满足合规要求‌

对于某些行业,如金融、医疗等,备份数据是符合合规要求的一项必要操作。这些行业的合规要求可能规定了数据备份的频率和方法,以确保数据的安全性和可靠性‌。

(5)‌快速回滚到恢复点‌

备份文件通常包含多个版本的数据,可以选择回滚到之前某个特定时间点的数据,以避免错误操作或数据损坏对业务造成进一步影响‌。

‌恢复特定文件或数据‌:数据备份和恢复还可以帮助用户恢复特定的文件或数据,而无需恢复整个系统或数据库‌。


、DWS备份恢复方案

2.1 DWS集群架构

数据类型

备份内容

CN(协调节点,SQL执行,生成分布式查询计划)

配置文件 + 数据文件(行存(包括系统表),列存)+ 控制文件 + XLOG文件

DN 主(数据存储节点)

配置文件 + 数据文件(行存(包括系统表),列存)+ 控制文件 + XLOG文件

DN 备(数据存储节点)

配置文件

DN 从(数据存储节点)

配置文件

...

...


2.2 数据一致性

事务一致性,备份集恢复后的事务状态和备份时相同

备份恢复保证一致性:

  • 离线备份:数据库停止后,对数据进行转储,此时备份集恢复可以恢复到数据库停止的状态;
  • 在线备份:使用数据+XLog日志的方法,即基础数据+备份过程中数据的修改(XLOG)生成备份集,恢复到备份结束的时间点。

2.3 数据转储

GaussDB(DWS)数据库提供支持对接多种介质转储数据的备份恢复方案。

介质就是备份集存放的位置:

DISK: 将数据压缩后转储到本地磁盘;

OBS: 对象存储系统,HC/HCS/HCSO默认的介质,GaussDB(DWS)支持在管控面备份到OBS;

XBSA协议:对于满足XBSA协议的厂商的通称,该协议是通用的备份协议,类似厂家NBU,X8000。

、DWS备份恢复使用实践

3.1 检查集群状态

3.2 集群级备份

• 集群级全量备份,支持手动创建和自动创建,自动创建根据用户配置的策略自动触发,默认每周日执行一次。以上是手动创建集群级全量备份。

• 集群级增量备份,不支持手动创建,只支持自动创建。根据配置的策略自动触发,默认每8小时触发一次。

备份时间、备份周期均支持配置。

3.3 schema级细粒度备份 

Schema级备份,只支持手动创建。可选择DB下的指定schema进行备份,可多选。

Schema级备份支持全量备份、增量备份两种模式。

3.4 备份集信息展示

3.5 集群级恢复

3.6 细粒度表级恢复 

• 细粒度表级恢复,根据细粒度备份集中的表列表,可选择单表/多表恢复,支持恢复到当前DB相同schema和相同table,即覆盖原表;也支持恢复到其他表名称。

支持从全量备份集恢复单表、支持从schema备份集恢复单表。

支持恢复全量备份集、支持恢复增量备份集。


、备份恢复问题定位分析方法

4.1 备份恢复相关日志

备份恢复相关日志日志是查看代码运行状态和错误定位的重要文件,我们可根据报错信息,并在对应日志中找到有关信息,进一步排查故障。

HC/HCS/HCSO集群

  • 管控面调用日志: 沙箱外 /home/Ruby/log/cloud-dws-deploy.log
  • 管控面归档日志:沙箱外 /home/Ruby/archivelog
  • 内核日志:沙箱内 /var/chroot/DWS/manager/backup/log。若备份命令中没有直接指定--logging-path参数,则在沙箱内查看$GAUSSLOG/roach/

obs日志

  • 沙箱内 cd $GAUSSLOG/bin/gs_obs
  • vi gs_obs.run.log查看对应的报错日志,此处注意的是obs日志需要到具体出错节点上查看

4.2 问题定位

STEP1:找到roach日志存放路径

STEP2:检查controller日志信息(vim $GAUSSLOG/roach/controller/roach_controller_current.log)

STEP3:如果controller日志不包含具体错误信息,检查agent日志可以获得更详细信息

STEP4:检查agent日志信息(vim $GAUSSLOG/roach/agent/roach_agent_current.log)

STEP5:检查故障节点agent日志信息(vim $GAUSSLOG/roach/agent/roach_agent_current.log)

本期分享到此结束,更多关于GaussDB(DWS)备份恢复内容的介绍,欢迎观看本期直播回放。

回放地址:https://bbs.huaweicloud.com/live/cloud_live/202408271630.html

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。