直播回顾 | 大数据时代下的数据守护:华为云数仓DWS备份恢复
在数据为王的大数据时代,企业的核心竞争力日益依赖于数据的完整性与可靠性。然而,面对数据丢失或误操作的潜在风险,如何确保业务连续性,避免经济损失,成为每个企业必须直面的挑战。华为云数仓DWS,提供高可靠的备份容灾解决方案,为企业用数安全保驾护航。
本期《大数据时代下的数据守护:华为云数仓DWS备份恢复》的主题直播中,华为云数仓DWS高级研发专家开翔老师,深入解析了DWS的备份恢复能力,全面解读其背后的技术奥秘与实践策略。
一、灾备介绍
因为各类原因,原始数据丢失或由于误操作导致的数据受损的事件时有发生。如果没有数据备份,数据的损坏、丢失将会造成巨大的经济损失。
定期将数据进行备份,则当灾难发生时,就可以利用之前的备份数据进行恢复,从而最小化损失。同时数据备份恢复也是国家政策法规的要求,所以数据备份和恢复工作是一项不可忽视的系统工作。
备份恢复在保证数据高可用方面起到巨大作用,其具体应用场景有如下几种:
(1)数据恢复
通过备份和恢复机制,可以在数据丢失或损坏时迅速恢复数据,确保数据的完整性和安全性。这有助于减少数据损失,保护业务连续性,避免因数据丢失或损坏导致的业务中断和客户信任度的下降。
(2)数据备份
定期备份数据可以防止数据丢失或损坏,无论是由于硬件故障、病毒攻击还是其他不可抗力因素。备份数据还可以用于数据迁移和更换设备,简化数据迁移过程,减少风险和麻烦。
(3)故障处理
备份和恢复机制可以用于故障处理和错误排查,提高数据库的稳定性和可用性。在发生故障时,可以通过恢复备份数据快速解决问题,恢复正常运行。
(4)满足合规要求
对于某些行业,如金融、医疗等,备份数据是符合合规要求的一项必要操作。这些行业的合规要求可能规定了数据备份的频率和方法,以确保数据的安全性和可靠性。
(5)快速回滚到恢复点
备份文件通常包含多个版本的数据,可以选择回滚到之前某个特定时间点的数据,以避免错误操作或数据损坏对业务造成进一步影响。
恢复特定文件或数据:数据备份和恢复还可以帮助用户恢复特定的文件或数据,而无需恢复整个系统或数据库。
二、DWS备份恢复方案
2.1 DWS集群架构
数据类型 |
备份内容 |
CN(协调节点,SQL执行,生成分布式查询计划) |
配置文件 + 数据文件(行存(包括系统表),列存)+ 控制文件 + XLOG文件 |
DN 主(数据存储节点) |
配置文件 + 数据文件(行存(包括系统表),列存)+ 控制文件 + XLOG文件 |
DN 备(数据存储节点) |
配置文件 |
DN 从(数据存储节点) |
配置文件 |
... |
... |
2.2 数据一致性
• 事务一致性,备份集恢复后的事务状态和备份时相同
• 备份恢复保证一致性:
- 离线备份:数据库停止后,对数据进行转储,此时备份集恢复可以恢复到数据库停止的状态;
- 在线备份:使用数据+XLog日志的方法,即基础数据+备份过程中数据的修改(XLOG)生成备份集,恢复到备份结束的时间点。
2.3 数据转储
GaussDB(DWS)数据库提供支持对接多种介质转储数据的备份恢复方案。
介质就是备份集存放的位置:
• DISK: 将数据压缩后转储到本地磁盘;
• OBS: 对象存储系统,HC/HCS/HCSO默认的介质,GaussDB(DWS)支持在管控面备份到OBS;
• XBSA协议:对于满足XBSA协议的厂商的通称,该协议是通用的备份协议,类似厂家NBU,X8000。
三、DWS备份恢复使用实践
3.1 检查集群状态
3.2 集群级备份
• 集群级全量备份,支持手动创建和自动创建,自动创建根据用户配置的策略自动触发,默认每周日执行一次。以上是手动创建集群级全量备份。
• 集群级增量备份,不支持手动创建,只支持自动创建。根据配置的策略自动触发,默认每8小时触发一次。
• 备份时间、备份周期均支持配置。
3.3 schema级细粒度备份
• Schema级备份,只支持手动创建。可选择DB下的指定schema进行备份,可多选。
• Schema级备份支持全量备份、增量备份两种模式。
3.4 备份集信息展示
3.5 集群级恢复
3.6 细粒度表级恢复
• 细粒度表级恢复,根据细粒度备份集中的表列表,可选择单表/多表恢复,支持恢复到当前DB相同schema和相同table,即覆盖原表;也支持恢复到其他表名称。
• 支持从全量备份集恢复单表、支持从schema备份集恢复单表。
• 支持恢复全量备份集、支持恢复增量备份集。
四、备份恢复问题定位分析方法
4.1 备份恢复相关日志
备份恢复相关日志日志是查看代码运行状态和错误定位的重要文件,我们可根据报错信息,并在对应日志中找到有关信息,进一步排查故障。
• HC/HCS/HCSO集群
- 管控面调用日志: 沙箱外 /home/Ruby/log/cloud-dws-deploy.log
- 管控面归档日志:沙箱外 /home/Ruby/archivelog
- 内核日志:沙箱内 /var/chroot/DWS/manager/backup/log。若备份命令中没有直接指定--logging-path参数,则在沙箱内查看$GAUSSLOG/roach/
• obs日志
- 沙箱内 cd $GAUSSLOG/bin/gs_obs
- vi gs_obs.run.log查看对应的报错日志,此处注意的是obs日志需要到具体出错节点上查看
4.2 问题定位
STEP1:找到roach日志存放路径
STEP2:检查controller日志信息(vim $GAUSSLOG/roach/controller/roach_controller_current.log)
STEP3:如果controller日志不包含具体错误信息,检查agent日志可以获得更详细信息
STEP4:检查agent日志信息(vim $GAUSSLOG/roach/agent/roach_agent_current.log)
STEP5:检查故障节点agent日志信息(vim $GAUSSLOG/roach/agent/roach_agent_current.log)
本期分享到此结束,更多关于GaussDB(DWS)备份恢复内容的介绍,欢迎观看本期直播回放。
回放地址:https://bbs.huaweicloud.com/live/cloud_live/202408271630.html
- 点赞
- 收藏
- 关注作者
评论(0)