DM8误删除操作恢复方案

举报
yd_252438691 发表于 2023/11/28 18:42:39 2023/11/28
【摘要】 达梦数据库三种在误删除操作后的回退方案:闪回表日志挖掘DBMS_LOGMNR不完全恢复一、闪回表 当用户操作不慎导致错误的删改数据时,闪回方式可以恢复数据。闪回技术,就是为了用户可以迅速处理这种 数据逻辑损坏的情况而产生的。 闪回技术主要是通过回滚段存储的 UNDO 记录来完成历史记录的还原。 设置 ENABLE_FLASHBACK 为 1 后,开启闪回功能。DM 会保留回滚段一段时间,回滚...

达梦数据库三种在误删除操作后的回退方案:

  • 闪回表
  • 日志挖掘DBMS_LOGMNR
  • 不完全恢复

一、闪回表

当用户操作不慎导致错误的删改数据时,闪回方式可以恢复数据。闪回技术,就是为了用户可以迅速处理这种 数据逻辑损坏的情况而产生的。 闪回技术主要是通过回滚段存储的 UNDO 记录来完成历史记录的还原。

设置 ENABLE_FLASHBACK 为 1 后,开启闪回功能。DM 会保留回滚段一段时间,回滚段保留的时间代表着可以闪回的时间长度。 由 UNDO_RETENTION 参数指定。 开启闪回功能后,DM 会在内存中记录下每个事务的起始时间和提交时间。即通过用户指定的时刻,查询到该时刻的事务号,结合当前记录和回滚段中的 UNDO 记录,就可以还原出特定事务号的记录。即指定时刻的记录状态。从而完成闪回查询。

DM8 闪回查询功能完全依赖于回滚段管理,对于闪回查询的支持较好,与oracle的使用方法类似。但MPP架构对于闪回查询功能不支持,同时由于达梦没有回收站功能,无法对drop的表进行闪回,对于 DROP 等误操作不能恢复,无法像Oracle进行flashback table XXX to before drop。在生产环境中,当表被DROP 删除或者数据库没有开启闪回功能时,则无法使用闪回来获取原有的表数据;此时需要使用基于归档日志的时间点的恢复(不完全恢复)来达到恢复数据或恢复表的目的。

闪回特性可应用在以下方面:

(1) 自我维护过程中的修复:当一些重要的记录被意外删除,用户 可以向后移动到一个 时间点,查看丢失的行并把它们重新插入现在的表内恢复;

(2)用于分析数据变化:可以对同一张表的不同闪回时刻进行链接 查询,以此查看变化的数据。

1.1. 闪回表定义

--语法格式
FLASHBACK TABLE	[<模式名>.]<表名> {,[<模式名>.]<表名>} TO <SCN | LSN | TIMESTAMP> <expr> [ <ENABLE|DISABLE> TRIGGERS ] ;

--参数说明:
< 模式名 > 指明该表属于哪个模式,缺省为当前模式;
< 表名 > 指明被创建的基表名,基表名最大长度 128 字节;
<expr> 指明闪回到的 LSN 值或 TIMESTAMP 值;
<ENABLE|DISABLE> TRIGGERS 指定是否开启触发器,ENABLE 为开启触发器,DISABLE 为关闭触发器,不指定则默认为关闭。

1.2.使用说明

  1. 使用闪回功能需要打开 dm.ini 中的 ENABLE_FLASHBACK 参数;
  2. 当前闪回表功能支持:批量闪回多个表、触发器的禁用与启用、DMDPC 环境(除使用 LOCAL 登录外)、DMDSC 环境;
  3. 当前闪回表功能不支持在 DM MPP 环境下使用;
  4. 闪回表利用的是 UNDO 表空间里记录的数据被改变前的值,只能闪回到 UNDO_RETENTION 指定值范围内的时间点;
  5. 用户必须具有 FLASHBACK ANY TABLE 系统权限或 FLASHBACK 对象权限
  6. 闪回表语句是作为单个事务处理来执行。同时闪回多个表时,必须成功闪回所有表,否则会回退整个事务。闪回作为 DDL 语句,开启自动提交时,闪回成功后会自动提交;
  7. 必须对要执行闪回操作的表启动行移动(分区表具有 MOVEMENT 功能的不能关闭,否则闪回可能会报错);
  8. 不会闪回受影响对象的统计信息;
  9. 闪回会保留所有现有的索引;
  10. 闪回中会正常检查约束条件,如果在闪回执行期间违反了任何约束条件,则会回滚闪回操作;
  11. 闪回不能跨越修改了表结构的 DDL。比如,在闪回数据之前,做过删除一个字段的操作,那么是无法闪回的;
  12. 不能对系统表、临时表、HUGE 表、内部辅助表、动态表等执行闪回表操作;
  13. DMDPC 环境下由于各节点的 SCN/LSN 不同,只支持闪回到时间点 TIMESTAMP;
  14. 限制重复闪回。闪回作为 DDL,对于同一个表,不允许再次闪回到上一次闪回之前的 LSN/TIMESTAMP。

注意:不开启闪回不能用flashback database,只能用flashback table和闪回查询,但是作用比较有限。启用闪回必须开启归档

1.3.闪回前环境准备

1.3.1.开启闪回功能

默认是闪回功能为关闭状态,更改参数后重启生效,必须重启不然报错:[-9801]:flashback version has been out of date。

--开启闪回功能
select name,type,value from v$parameter where name='ENABLE_FLASHBACK';
或
select para_value from v$dm_ini where para_name='ENABLE_FLASHBACK';  # 0未开启 1开启 

alter system set 'ENABLE_FLASHBACK'=1 both; 
或
sf_set_system_para_value('ENABLE_FLASHBACK',1,0,1);
或
或者修改参数文件dm.ini中ENABLE_FLASHBACK值为1

--修改UNDO_RETENTION
SQL> select name,type,value from v$parameter where name = 'UNDO_RETENTION';

LINEID     NAME           TYPE VALUE    
---------- -------------- ---- ---------
1          UNDO_RETENTION SYS  90.000000  
SQL> alter system set 'UNDO_RETENTION'=3600 both;

SQL> select name,type,value from v$parameter where name = 'UNDO_RETENTION';

LINEID     NAME           TYPE VALUE      
---------- -------------- ---- -----------
1          UNDO_RETENTION SYS  3600.000000

--重启永久生效
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa stop
Stopping DmServicefuwa:                                    [ OK ]
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa start
Starting DmServicefuwa: 
                                                           [ OK ]

1.3.2.构建测试数据

--创建 PERSON_TYPE
create table PERSON_TYPE(PERSON_TYPEID int,NAME varchar2(100));

--PERSON_TYPE中插入数据
insert into PERSON_TYPE values (1,'采购经理');
insert into PERSON_TYPE values (2,'采购代表');
insert into PERSON_TYPE values (3,'销售经理');
insert into PERSON_TYPE values (4,'销售代表');
commit;

--查询PERSON_TYPE
select * from PERSON_TYPE;  --4条数据

1.4 闪回查询

1.4.1 闪回查询子句_支持insert或delete场景

闪回查询子句语法

闪回查询子句的语法,是在数据查询语句的基础上,为 FROM 子句增加了闪回查询子句。

--语法格式
<闪回查询子句>::=
  WHEN <TIMESTAMP time_exp> | 
  AS OF <TIMESTAMP time_exp> |
  AS OF <SCN|LSN lsn>

--参数说明
time_exp:一个日期表达式,一般用字符串方式表示
lsn:LSN 值

语句功能

用户通过闪回查询子句,可以得到指定表过去某时刻的结果集。指定条件可以为时刻或 LSN。

使用说明

  1. 闪回查询只支持普通表(包括加密表与压缩表)、水平分区表和堆表,不支持临时表、列存储表、外部表与视图;
  2. 闪回查询中 lsn 的值,可以通过查询动态视图V$RLOG或V$VLSN_TIME 来确定,也可以通过闪回版本查询的伪列来确定;
  3. 由于视图 V$LSN_TIME 每三秒收集一次 LSN/TIME 映射关系,因此基于时间进行闪回查询时可能存在三秒的误差,如果需要进行精确度更高的闪回查询,建议基于 LSN 进行闪回查询。
SQL> SELECT CUR_LSN FROM V$RLOG;
SQL> select * from v$lsn_time;
  1. 当闪回表作为 DDL 时,对于同一个表,不允许基于对上一次闪回表的 LSN 或 TIMESTAMP 进行闪回查询。

示例

闪回查询子句_insert_指定TIMESTAMP
--查询当前时间
SQL> select sysdate from dual;

LINEID     sysdate            
---------- -------------------
1          2023-11-23 20:49:43

--插入数据
INSERT INTO PERSON_TYPE(PERSON_TYPEID,NAME) VALUES(5,'防损员');
INSERT INTO PERSON_TYPE(PERSON_TYPEID,NAME) VALUES(6,'保洁员');
COMMIT;

--查询
SELECT * FROM PERSON_TYPE;  --6条数据

--使用闪回查询取得2023-11-23 20:49:43时刻的数据
SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-23 20:49:43';  --4条数据
或
SELECT * FROM PERSON_TYPE AS OF TIMESTAMP '2023-11-23 20:49:43';  --4条数据
闪回查询子句_delete_指定TIMESTAMP
--查询当前时间
SQL> select sysdate from dual;

LINEID     sysdate            
---------- -------------------
1          2023-11-23 21:34:26

--删除
DELETE FROM PERSON_TYPE WHERE PERSON_TYPEID > 5; 
COMMIT;
SELECT * FROM PERSON_TYPE;  --5条数据

--使用闪回查询得到删除前的数据
SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-23 21:34:26';
或
SELECT * FROM PERSON_TYPE AS OF TIMESTAMP '2023-11-23 21:34:26';
闪回查询子句_delete_指定 LSN
--查询 PERSON_TYPE 表
SELECT * FROM PERSON_TYPE;   --5条数据

--查询 V$RLOG 视图的 CUR_LSN 字段来获取当前 LSN 值
SQL> SELECT CUR_LSN FROM V$RLOG;

LINEID     CUR_LSN             
---------- --------------------
1          42097

--删除 PERSON_TYPE 表中的一行数据,并提交
DELETE FROM PERSON_TYPE WHERE PERSON_TYPEID=4;
COMMIT;
SELECT * FROM PERSON_TYPE;  --4条数据

--通过删除操作之前的 LSN 值进行闪回查询得到删除前的数据
SELECT * FROM PERSON_TYPE AS OF SCN 42097;   --5条数据

1.4.2 闪回版本查询_支持update_insert_delete场景

INI 参数 UNDO_RETENTION 设置了事务提交后回滚页保持时间,缺省为 90 秒。因此,超出 UNDO_RETENTION 时间之外的过期闪回版本,无法被闪回查询到。

用户通过闪回版本查询子句,可以得到指定表过去某个时间段内事务导致记录变化的全部记录,包含update_insert_delete。指定条件可以为时刻或 LSN。

闪回版本查询_语法格式

--语法格式
<闪回版本查询子句>::=VERSIONS BETWEEN <闪回版本查询条件>
<闪回版本查询条件>::=TIMESTAMP <time_exp1> AND <time_exp2> | 
                     SCN|LSN <lsn1> AND <lsn2>

--参数说明
1.time_exp:日期表达式,一般用字符串方式表示。<time_exp1> 表示起始时间,<time_exp2> 表示结束时间
2.lsn:LSN 值。<lsn1> 表示起始 LSN,<lsn2> 表示结束 LSN                     

使用说明

  1. 闪回版本查询支持普通表(包括加密表与压缩表)、水平分区表和堆表,不支持临时表、列存储表、外部表与视图;
  2. 支持将表 17.2.1 中的伪列作为闪回版本查询的查询项,辅助获取精准的闪回查询信息。

表17.2.1 闪回版本查询支持的伪列

伪列

说明

VERSIONS_STARTTIME、VERSIONS_STARTSCN、VERSIONS_STARTTRXID

起始时间戳、起始 LSN、起始 TRXID

VERSIONS_ENDTIME、VERSIONS_ENDSCN、VERSIONS_ENDTRXID

提交时间戳、提交 LSN、提交 TRXID。如果该值为 NULL,表示行版本仍然是当前版本

VERSIONS_OPERATION

在行上的操作。I 表示 Insert、D 表示 Delete、U 表示 Update

语句功能

用户通过闪回版本查询子句,可以得到指定表过去某个时间段内,事务导致记录变化的全部记录。指定条件可以为时刻或 LSN。

示例

语法:
SELECT 参数,column_name,
FROM table_name VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:55:12' AND SYSDATE;
示例:
SELECT VERSIONS_STARTSCN, VERSIONS_ENDSCN, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:55:56' AND SYSDATE;
SELECT VERSIONS_STARTTIME,VERSIONS_STARTSCN,VERSIONS_STARTTRXID,VERSIONS_ENDTIME,VERSIONS_ENDSCN,VERSIONS_ENDTRXID,VERSIONS_OPERATION,NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:55:12' AND SYSDATE;
name即column_name,可以多个

--查询PERSON_TYPE  5条数据
SQL> SELECT * FROM PERSON_TYPE;

LINEID     PERSON_TYPEID NAME        
---------- ------------- ------------
1          1             采购经理
2          2             采购代表
3          3             销售经理
4          4             销售代表
5          5             防损员

--查询当前时间
SQL> select sysdate from dual;

LINEID     sysdate            
---------- -------------------
1          2023-11-23 22:55:56

--修改数据,并提交
UPDATE PERSON_TYPE SET NAME='保安员' WHERE PERSON_TYPEID=5;
COMMIT;
UPDATE PERSON_TYPE SET NAME='收银员' WHERE PERSON_TYPEID=5;
COMMIT;

--查询修改后的表
SQL> SELECT * FROM PERSON_TYPE;

LINEID     PERSON_TYPEID NAME        
---------- ------------- ------------
1          1             采购经理
2          2             采购代表
3          3             销售经理
4          4             销售代表
5          5             收银员

--进行闪回版本查询,获得指定时间段内变化的记录
SQL> SELECT VERSIONS_STARTSCN, VERSIONS_ENDSCN, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:55:56' AND SYSDATE;
LINEID     VERSIONS_STARTSCN    VERSIONS_ENDSCN      NAME        
---------- -------------------- -------------------- ------------
1          NULL                 NULL                 采购经理
2          NULL                 NULL                 采购代表
3          NULL                 NULL                 销售经理
4          NULL                 NULL                 销售代表
5          54525                NULL                 收银员
6          54522                54525                保安员
7          54519                54522                防损员

--利用伪列 VERSION_STARTSCN 进行闪回查询得到修改前的数据
SQL> SELECT * FROM PERSON_TYPE AS OF SCN 54519;

LINEID     PERSON_TYPEID NAME        
---------- ------------- ------------
1          1             采购经理
2          2             采购代表
3          3             销售经理
4          4             销售代表
5          5             防损员

SQL> SELECT * FROM PERSON_TYPE AS OF SCN 54522;
LINEID     PERSON_TYPEID NAME        
---------- ------------- ------------
1          1             采购经理
2          2             采购代表
3          3             销售经理
4          4             销售代表
5          5             保安员

SQL> SELECT * FROM PERSON_TYPE AS OF SCN 54525;

LINEID     PERSON_TYPEID NAME        
---------- ------------- ------------
1          1             采购经理
2          2             采购代表
3          3             销售经理
4          4             销售代表
5          5             收银员

1.4.3 闪回事务查询

闪回事务查询提供系统视图 V$FLASHBACK_TRX_INFO 供用户查看在事务级对数据库所做的更改。根据视图信息,可以确定如何还原指定事务或指定时间段内的修改

使用说明

系统视图名为 V$FLASHBACK_TRX_INFO,定义如表 17.3.1 所示。

表17.3.1 系统视图V$FLASHBACK_TRX_INFO定义

列名

数据类型

说明

START_TRXID

BIGINT

事务中第一个 DML 的 TRXID

START_TIMESTAMP

TIMESTAMP

事务中第一个 DML 的时间戳

COMMIT_TRXID

BIGINT

提交事务的 TRXID

COMMIT_TIMESTAMP

TIMESTAMP

提交事务时的时间戳

LOGON_USER

VARCHAR(256)

拥有事务的用户

UNDO_CHANGE#

INT

记录修改顺序序号

OPERATION

CHAR(1)

DML 操作类型。
D:删除;U:修改;I:插入;N:更新插入(专门针对 CLUSTER PRIMARY KEY 的插入); C:事务提交;P:预提交记录;O:default

TABLE_NAME

VARCHAR(256)

DML 修改的表

TABLE_OWNER

VARCHAR(256)

DML 修改表的拥有者

ROW_ID

ROWID

DML 修改行的 ROWID

UNDO_SQL

VARCHAR(3900)

撤销 DML 操作的 SQL 语句

COMMIT_LSN

BIGINT

事务提交时的 LSN

示例

例 查询指定时间之后的事务信息,可为闪回查询操作提供参考。

SELECT * FROM V$FLASHBACK_TRX_INFO WHERE COMMIT_TIMESTAMP > '2023-11-23 22:55:56';


示例 2 :闪回查询指定 TRXID

闪回查询指定 TRXID的 PERSON_TYPE 表要获得 TRXID 信息, 需要通过闪回版本查询的伪列 VERSIONS_ENDTRXID。注意只针对update 有效,如果是insert,则没有效果。

--查询当前时间
SQL> select sysdate from dual;

LINEID     sysdate            
---------- -------------------
1          2023-11-23 19:12:55

--更新数据
UPDATE PERSON_TYPE SET role='保安员' WHERE role='安保'; 
UPDATE PERSON_TYPE SET role='收银员' WHERE role='会计员'; 
INSERT INTO PERSON_TYPE(role) VALUES('防损员');
INSERT INTO PERSON_TYPE(role) VALUES('保洁员');
COMMIT; 

SELECT * FROM PERSON_TYPE;

--进行闪回版本查询,确定 TRXID
SQL> SELECT VERSIONS_ENDTRXID, ROLE FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 19:12:55' AND SYSDATE;

LINEID     VERSIONS_ENDTRXID    ROLE        
---------- -------------------- ------------
1          NULL                 采购经理
2          NULL                 财务经理
3          NULL                 经销商
4          NULL                 收银员
5          NULL                 保安员
6          NULL                 司机
7          NULL                 防损员
8          NULL                 保洁员
9          22105                会计员
10         22105                安保

--根据 TRXID 确定版本(只针对update 有效,如果是insert,则没有效果)
SELECT * FROM PERSON_TYPE WHEN TRXID 22105;


1

2

3

4

5

结果集如下所示:


进行闪回版本查询,确定 TRXID:


SELECT VERSIONS_ENDTRXID, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2012-01-01 12:24:00' AND SYSDATE;

1

得到结果集如下所示:


根据 TRXID 确定版本:


SELECT * FROM PERSON_TYPE WHEN TRXID 322;

1

结果集如下所示:


2.2 闪回版本查询

语法格式:


<闪回版本查询子句>::=VERSIONS BETWEEN <TIMESTAMP time_exp1 AND time_exp2> | <TRXID trxid1 AND trxid2>

1

参数:

(1)time_exp 日期表达式,一般用字符串方式表示。time_exp1 表 示起始时间,time_exp2 表示结束时间 。

(2)trxid 指定事务 ID 号,整数表示。trxid1 表示起始 trxid, trxid2 表示结束 trxid 。

使用说明 :

(1)闪回版本查询支持普通表(包括加密表与压缩表)、临时表和 堆表,不支持水平分区表、列存储表、外部表与视图;

(2)支持如下图所示伪列,作为闪回版本查询的辅助信息。

如下图所示: 闪回版本查询支持的伪列


语句功能:

用户通过闪回版本查询子句,可以得到指定表过去某个时间段内,事务导致记录变化的全部记录。指定条件可以为时刻,或事务号。

举例说明:

例 1 :

闪回版本查询指定时间段内,PERSON_TYPE 表的记录变化。

在 2012-01-01 12:24:05 时刻修改数据,并提交。


UPDATE PERSON_TYPE SET NAME='保安员' WHERE PERSON_TYPEID=5;

COMMIT;

UPDATE PERSON_TYPE SET NAME='收银员' WHERE PERSON_TYPEID=5;

COMMIT;

SELECT * FROM PERSON_TYPE;

1

2

3

4

5

结果集如下图所示:


进行闪回版本查询,获得指定时间段内变化的记录:


SELECT VERSIONS_ENDTRXID, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2012-01-01 12:24:00' AND SYSDATE;

1

得到结果集如下图所示:


2.3 闪回事务查询

闪回事务查询提供系统视图 V$FLASHBACK_TRX_INFO 供用户查看在事务级对数据库所做的更改。根据视图信息,可以确定如何还原指定事务或指定时间段内的修改。

使用说明:

系统视图名为 V$FLASHBACK_TRX_INFO,定义如下图所示:


举例说明:

例 1 :

查询指定时间之后的事务信息,可为闪回查询操作提供参考。


SELECT * FROM V$FLASHBACK_TRX_INFO WHERE COMMIT_TIMESTAMP > '2012-01-01 12:00:00';

1

二、日志挖掘

1.什么是达梦数据库日志挖掘?

用户可以使用 DBMS_LOGMNR 包对归档日志进行挖掘,重构出 DDL 和 DML 等操作,并通过获取的信息进行更深入的分析。

DM MPP 环境下不支持 DBMS_LOGMNR 包。

2.操作过程

2.1 配置归档与参数

(1)开启归档,在 dm.ini 中修改参数 ARCH_INI=1;

(2)修改参数 RLOG_APPEND_LOGIC(动态,系统级)为 1 或 2;


sf_set_system_para_value('RLOG_APPEND_LOGIC',1,0,1);

1

2.2 创建系统包


SP_CREATE_SYSTEM_PACKAGES(1,'DBMS_LOGMNR');

1

2.3 查询数据库当前归档日志


SELECT NAME,FIRST_TIME,NEXT_TIME,FIRST_CHANGE#,NEXT_CHANGE# FROM V$ARCHIVED_LOG;

1

2.4 添加需要分析的归档日志文件


DBMS_LOGMNR.ADD_LOGFILE('/data/dmdata/DAMENG/arch/ARCHIVE_LOCAL1_0x6B E5BB4B[0]_2021-01-06_09-40-28.log');

1

注:对于不在数据库默认归档路径下的归档日志,可以直接指定归档日志的绝对路径添加进分析列表。

2.5 查询通过 ADD_LOGFILE 添加的归档日志文件


SELECT LOW_SCN, NEXT_SCN, LOW_TIME, HIGH_TIME, LOG_ID, FILENAME FROM V$LOGMNR_LOGS;

1

2.6 启动归档日志文件分析


DBMS_LOGMNR.START_LOGMNR(OPTIONS=>2128,STARTTIME=>TO_DATE('2021-1-6 15:01:12','YYYY-MM-DD HH24:MI:SS'),ENDTIME=>TO_DATE('2021-1-6 16:01:12','YYYY-MM-DD HH24:MI:SS'));

1

OPTIONS:

提供如下表所列的可选模式,各模式可以通过 + 或者按位或来进行组合。其它位的值如 1、4、8 等目前不支持,配置后不会报错,但是没有效果。例如,组合全部模式,则取值计算方法为 2+16+64+2048=2130,那么 OPTIONS 值取就是 2130。


2.7 查看归档日志文件的分析结果


select TIMESTAMP,START_TIMESTAMP,COMMIT_TIMESTAMP,OPERATION,OPERATION_CODE,R OLL_BACK,TABLE_NAME,ROW_ID,USERNAME,DATA_OBJ#,DATA_OBJV#,SQL_REDO,RED O_VALUE,UNDO_VALUE

from V$LOGMNR_CONTENTS

where table_name='TEST_INSERT';

1

2

3

2.8 终止归档日志文件分析

2.8.1 结束分析


DBMS_LOGMNR.END_LOGMNR();

1

2.8.2 删除系统包


SP_CREATE_SYSTEM_PACKAGES(0,'DBMS_LOGMNR');

1

三、数据库备份恢复

通过备份与归档日志将数据库恢复数据库到指定时间点/LSN;

1.备份与恢复

还原与恢复是备份的逆过程。

还原是将备份集中的有效数据页重新写入目标数据文件的过程。

恢复则是指通过重做归档日志,将数据库状态恢复到备份结束时的状态;也可以恢复到指定时间点和指定 LSN。恢复结束以后,数据库中可能存在处于未提交状态的活动事务, 这些活动事务在恢复结束后的第一次数据库系统启动时,会由 DM 数 据库自动进行回滚。

2.操作步骤

2.1 记录时间或者 LSN


SELECT SYSDATE;--当前时间

SELECT FILE_LSN FROM V$RLOG;--此时的 LSN

1

2

2.2 关闭数据库


./DmServiceDM stop

1

2.3 打开 dmrman 并还原数据库


./dmrman RMAN> RESTORE DATABASE '/data/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/data/dmdata/DAMENG/bak/DB_DAMENG_FULL_20210106_165522_978586';

1

2.4 恢复数据库到指定时间点/LSN


RMAN> RECOVER DATABASE '/data/dmdata/DAMENG/dm.ini' WITH ARCHIVEDIR'/data/dmdata/DAMENG/arch' UNTIL TIME '2021-1-6 10:56:40.624931'; 或者RMAN> RECOVER DATABASE '/data/dmdata/DAMENG/dm.ini' WITH ARCHIVEDIR'/data/dmdata/DAMENG/arch' UNTIL LSN 1191826;

1

2.5 数据库更新


RMAN> RECOVER DATABASE '/data/dmdata/DAMENG/dm.ini' UPDATE DB_MAGIC;

1

2.6 重启数据库


./DmServiceDM start

1

以上三种方式仅供大家参考~~~

————————————————

版权声明:本文为CSDN博主「chen丨yu」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/chenyu940415/article/details/117354407

1.5.问题处理

flashback version has been out of date

问题描述

误操作后,闪回查询到某一时间点提示:"[-9801]:flashback version has been out of date."

SQL> SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-23 18:51:41';
SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-23 18:51:41';
[-9801]:flashback version has been out of date.
used time: 0.548(ms). Execute id is 0.

问题排查

可能引起该报错的原因有:

UNDO_RETENTION参数
--查询UNDO_RETENTION参数
select name,type,value from v$parameter where name = 'UNDO_RETENTION';

LINEID     name           TYPE VALUE    
---------- -------------- ---- ---------
1          UNDO_RETENTION SYS  90.000000

有博主写的默认900秒,15分钟,但是官方文档写的是90秒。如果显示的是90说明没有更改参数过了UNDO_RETENTION则无法进行闪回查询。不重启也验证了可以闪回查询。

解决办法

--更改UNDO_RETENTION参数
alter system set 'UNDO_RETENTION'=3600 both;
select name,type,value from v$parameter where name = 'UNDO_RETENTION';

--重启生效(可选)
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa stop
Stopping DmServicefuwa:                                    [ OK ]
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa start
Starting DmServicefuwa: 

--更改参数后未重启查看参数文件dm.ini
发现ENABLE_FLASHBACK=0
    UNDO_RETENTION=90

--重启查看参数文件dm.ini
发现ENABLE_FLASHBACK=1
    UNDO_RETENTION=3600

flashback function is disable

--问题描述:闪回版本查询报错flashback function is disable
SQL> SELECT VERSIONS_STARTSCN, VERSIONS_ENDSCN, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:48:33' AND SYSDATE;
SELECT VERSIONS_STARTSCN, VERSIONS_ENDSCN, NAME FROM PERSON_TYPE VERSIONS BETWEEN TIMESTAMP '2023-11-23 22:48:33' AND SYSDATE;
[-9803]:Error in line: 1
flashback function is disable.
used time: 0.499(ms). Execute id is 0.

--解决办法
--开启闪回功能
select name,type,value from v$parameter where name='ENABLE_FLASHBACK';
或
select para_value from v$dm_ini where para_name='ENABLE_FLASHBACK';  # 0未开启 1开启

alter system set 'ENABLE_FLASHBACK'=1 both; 
或
sf_set_system_para_value('ENABLE_FLASHBACK',1,0,1);
或
或者修改参数文件dm.ini中ENABLE_FLASHBACK值为1

--重启永久生效(可选)
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa stop
Stopping DmServicefuwa:                                    [ OK ]
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/DmServicefuwa start
Starting DmServicefuwa: 
                                                           [ OK ]

flashback function is disable

--问题描述
SQL> SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-28 18:20:32';
SELECT * FROM PERSON_TYPE WHEN TIMESTAMP '2023-11-28 18:20:32';
[-9803]:Error in line: 1
flashback function is disable.
used time: 0.371(ms). Execute id is 0.
SQL> 

--问题原因
没有开启闪回,故无法查询原来数据

DM8_DSC场景下启动闪回失败

--问题描述
DSC场景下开启闪回失败提示不支持
[dmdba@localhost ~]$ /dmdb8/dmdbms/bin/disql SYSDBA/SYSDBA:5236

Server[LOCALHOST:5236]:mode is primary, state is open
login used time : 10.660(ms)
disql V8
SQL> sf_set_system_para_value('ENABLE_FLASHBACK',1,0,1);
sf_set_system_para_value('ENABLE_FLASHBACK',1,0,1);
[-2020]:Don't support this operation in DSC.
used time: 41.153(ms). Execute id is 0.

--问题原因
03134284058-20230614-193125-20046版本开始DSC开始支持闪回功能

查达梦数据库版本
SQL> select * from v$version;

LINEID     BANNER                           
---------- ---------------------------------
1          DM Database Server 64 V8
2          DB Version: 0x7000c
3          03134284044-20230417-187846-20040

--解决办法
更改版本或升级版本

参考链接:http://blog.itpub.net/69985512/viewspace-2727220/#:~:text=%23%23%E6%88%96%E8%80%85%E4%BF%AE%E6%94%B9%E5%8F%82%E6%95%B0,%E4%B8%BA1%EF%BC%8C%E9%87%8D%E5%90%AF%E7%94%9F%E6%95%88%E3%80%82


https://eco.dameng.com/document/dm/zh-cn/pm/flashback-query#17.2.3%20%E9%97%AA%E5%9B%9E%E4%BA%8B%E5%8A%A1%E6%9F%A5%E8%AF%A2

二、日志挖掘

什么是达梦数据库日志挖掘

用户可以使用 DBMS_LOGMNR 包对归档日志进行挖掘,重构出 DDL 和 DML 等操作,并通过获取的信息进行更深入的分析。

达梦DBMS_LOGMNR包用于分析归档日志所记载的DML、DDL、DCL等事务操作。通过DBMS_LOGMNR提供的日志挖掘功能,可以确定数据库误操作时间点或SCN,对数据库基于时间点或者SCN的不完全恢复。通过DBMS_LOGMNR可以跟踪达梦数据库的所有DML、DDL、DCL操作,从而取得执行这些操作的时间顺序、执行这些操作的用户等信息,在系统没有打开审计功能时,对数据库进行审计或者对数据库审计结果进行进一步深入分析。

目前 DBMS_LOGMNR 只支持对归档日志进行分析,配置归档后,还需要将 dm.ini 中的RLOG_APPEND_LOGIC 选项置为 1 或 2。

DM MPP 环境下不支持 DBMS_LOGMNR 包。

操作过程

配置归档与参数

(1)开启归档

在 dm.ini 中修改参数 ARCH_INI=1或进行以下参数修改;

#查看归档模式
su - dmdba
/dmdb8/dmdbms/bin/disql sysdba/sysdba:5237
select name,status$,arch_mode from v$database;

#主动刷新检查点
checkpoint(100);
alter database mount;
alter database archivelog;

#设置归档位置  文件大小  上限(视情况更改值)
alter database add archivelog 'dest=/dmdb8/dmarch,type=local,file_size=2048,space_limit=3072';
alter database open;

##手动切归档,执行任意一条sql即可
alter database archivelog current;
alter system archive log current;
alter system switch logfile;

##查询下归档日志文件信息
select t.status,t.path,t.arch_lsn,t.clsn from v$arch_file t;

输出如下信息
LINEID     status   PATH                                                                arch_lsn             clsn                
---------- -------- ------------------------------------------------------------------- -------------------- --------------------
1          INACTIVE /dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-10-18_08-37-26.log 1045456              1045629
ACTIVE 活跃状态,说明是此文件为正在使用的归档日志文件

(2)启用记录逻辑操作功能

修改参数 RLOG_APPEND_LOGIC(动态,系统级)为 1 或 2,默认0;

select name,type,value from v$parameter where name='RLOG_APPEND_LOGIC';

alter system set 'RLOG_APPEND_LOGIC'=1 both; 
或
sf_set_system_para_value('RLOG_APPEND_LOGIC',1,0,1);

构建测试数据

--创建 PERSON_TYPE
create table PERSON_TYPE(PERSON_TYPEID int,NAME varchar2(100));

--PERSON_TYPE中插入数据
insert into PERSON_TYPE values (1,'采购经理');
insert into PERSON_TYPE values (2,'采购代表');
insert into PERSON_TYPE values (3,'销售经理');
insert into PERSON_TYPE values (4,'销售代表');
commit;

--查询PERSON_TYPE
select * from PERSON_TYPE;  --4条数据

--delete删除
delete from PERSON_TYPE where PERSON_TYPEID>2;
commit;
select * from PERSON_TYPE;
commit;

--归档
checkpoint(100);
alter system switch logfile;

创建系统包

SP_CREATE_SYSTEM_PACKAGES(1,'DBMS_LOGMNR');

查询数据库当前归档日志

SELECT NAME,FIRST_TIME,NEXT_TIME,FIRST_CHANGE#,NEXT_CHANGE# FROM V$ARCHIVED_LOG;
select t.STATUS, t.PATH, t.ARCH_LSN, t.CLSN from "V$ARCH_FILE"t;

添加需要分析的归档日志文件

通过调用DBMS_LOGMNR.ADD_LOGFILE过程来添加一个或多个归档日志文件。

DBMS_LOGMNR.ADD_LOGFILE('/dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-11-28_11-30-53.log');
DBMS_LOGMNR.ADD_LOGFILE('/dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-11-28_16-45-54.log');
DBMS_LOGMNR.ADD_LOGFILE('/dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-11-28_17-02-18.log');
DBMS_LOGMNR.ADD_LOGFILE('/dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-11-28_17-08-52.log');
DBMS_LOGMNR.ADD_LOGFILE('/dmdb8/dmarch/ARCHIVE_LOCAL1_0x482D9BC8_EP0_2023-11-28_17-12-54.log');

注:对于不在数据库默认归档路径下的归档日志,可以直接指定归档日志的绝对路径添加进分析列表。

查询通过 ADD_LOGFILE 添加的归档日志文件

SELECT LOW_SCN , NEXT_SCN , LOW_TIME , HIGH_TIME, LOG_ID , FILENAME FROM V$LOGMNR_LOGS;

启动归档日志文件分析

DBMS_LOGMNR.START_LOGMNR();
DBMS_LOGMNR.START_LOGMNR(OPTIONS=>2130, STARTTIME=>TO_DATE('2022-05-14 11:30:00', 'YYYY-MM-DD HH24:MI:SS'), 
ENDTIME=>TO_DATE('2022-05-14 12:30:00', 'YYYY-MM-DD HH24:MI:SS'));

OPTIONS:
提供如下表所列的可选模式,各模式可以通过 + 或者按位或来进行组合。其它位的值如 1、4、8 等目前不支持,配置后不会报错,但是没有效果。例如,组合全部模式,则取值计算方法为 2+16+64+2048=2130,那么 OPTIONS 值取就是 2130。

查看归档日志文件的分析结果

select
 TIMESTAMP , START_TIMESTAMP ,
 COMMIT_TIMESTAMP, OPERATION ,
 OPERATION_CODE , ROLL_BACK ,
 TABLE_NAME , ROW_ID , USERNAME , DATA_OBJ# ,
 DATA_OBJV# , SQL_REDO , REDO_VALUE , UNDO_VALUE
from V$LOGMNR_CONTENTS where table_name = 'xxx';

终止归档日志文件分析

结束分析

DBMS_LOGMNR.END_LOGMNR();

删除系统包

SP_CREATE_SYSTEM_PACKAGES(0,'DBMS_LOGMNR');

问题处理

v$logmnr_contents查询报错

--问题描述
数据库连接工具查询日志挖掘视图提示如下报错
SQL 错误 [22000]: dbms_logmnr.start_logmnr() must be invoked before selecting from v$logmnr_contents

--问题处理

三、DM8基于时间点的恢复

在生产环境中,当误操作删除了重要数据时,可以使用闪回查询来找回原来的数据,但当表被删除或者数据库没有开启闪回功能时,则无法使用闪回来获取原有的表数据;此时可以使用基于归档日志的时间点的恢复(不完全恢复)来达到恢复数据或恢复表的目的。

本章介绍DM8数据库如何使用归档日志文件将数据库恢复到指定时间点的状态。

备份数据库

数据库故障还原的前提是要有备份文件,这里创建一个原始的数据库备份文件,可以使用DMRMAN脱机备份文件,也可以是联机备份文件。这里以联机备份为例(在联机备份之前,需要保证数据库已开启并配置归档)。使用SYSDBA用户登录数据库,执行如下语句备份数据库:

/dmdb8/dmdbms/bin/disql sysdba/sysdba:5237
SQL> backup database full backupset 'DMfuwaFULL_ONLINE1127';

默认备份目录:/dmdb8/dmdata/fuwa/bak

制造数据,生成归档日志

创建test用户,并在test用户下创建表t_table并插入数据,此过程生成归档日志。

SQL> create user test IDENTIFIED by dameng123 DEFAULT TABLESPACE main;
SQL> create table test.t_table as select * from SYSOBJECTS;

模拟故障,删除表

模拟故障,删除test用户下表t_table。并记录下删除表时的系统时间。

SQL> drop table test.t_table;
select sysdate;executed successfully
used time: 26.477(ms). Execute id is 705.
SQL> 

LINEID     sysdate            
---------- -------------------
1          2023-11-27 19:41:58

使用备份和归档日志将数据库恢复到指定时间点

t_table表被删除,要想找回此表的数据,只能将数据库恢复到表删除的前一刻。恢复步骤参考如下:

使用备份文件还原数据库

注意:如果是异机还原,异机上需安装数据库软件并初始化和原实例名一样的实例(参数文件和控制文件不用管用初始化的就成会覆盖)

执行如下命令停止数据库:

[dmDBA@localhost bin]$ DmServiceDMTESTSERVER stop

使用步骤1的备份文件将数据库还原到备份时状态:

RMAN> restore database '/dmdb8/dmdata/fuwa/dm.ini' from backupset '/home/dmdba/DMfuwaFULL_ONLINE1127';

使用归档日志将数据库恢复到指定时间点

执行如下命令,指定with archivedir参数使用归档恢复,并指定until time参数将数据库还原到删除表之前的时间,由步骤3得知,我们大概在2020-07-23 10:48:53之前的时间删除了表数据,这里将数据库恢复到2020-07-23 10:48:40的时间(时间越精确越好,无法精确的情况下预估)。

RMAN> recover database '/dmdb8/dmdata/fuwa/dm.ini' with archivedir '/home/dmdba/dmarch' until time '2023-11-27 19:41:58';

从下面的截图可以看出,归档的恢复并不是100%(因为是不完全恢复,并没有完全重做所有归档日志),只是恢复到93%。

更新数据库魔数

执行如下命令更新数据库魔数db_magic信息。

RMAN> recover database 'dmdb8/dmdata/fuwa/dm.ini' update db_magic;

此时,数据库恢复完成。

执行DmServiceDMTESTSERVER start启动数据库,连接数据库查询test用户下t_table表数据,可以看到t_test表已恢复。

总结

使用RECOVER命令恢复数据库时,可以是基于备份集的恢复,也可以是使用本地归档日志的恢复。基于时间点的恢复是使用本地归档日志恢复的方式之一。

除了指定时间点,还可以通过指定LSN进行恢复。DM中每条REDO日志记录都对应一个唯一的LSN值,指定LSN值以后,数据库将会精准的恢复到产生这个LSN时间点的状态。基于LSN的恢复是使用UNTIL LSN 参数恢复到指定的LSN时间点的状态。

基于时间点或LSN的恢复都是不完全恢复,基于归档日志恢复到最新状态为完全恢复。

在实际生产环境中,如果只是删除某张表或数据,建议将数据库还原到另一台机器(目标数据库)上,然后拷贝生产环境归档日志将目标数据库恢复到指定的时间点,以在不影响生成环境的情况下找回表数据,降低对生成环境的影响。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。