5分钟带您了解DRS录制回放

举报
GaussDB 数据库 发表于 2024/01/16 10:03:42 2024/01/16
【摘要】 什么是DRS录制回放?DRS录制回放是将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过审计日志下载、录制代理等进行采集;回放是将采集到的全部SQL语句在目标数据库上进行执行(目标数据库需有源数据库的初始数据)。DRS录制回放与DRS...

什么是DRS录制回放?

DRS录制回放是将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过审计日志下载、录制代理等进行采集;回放是将采集到的全部SQL语句在目标数据库上进行执行(目标数据库需有源数据库的初始数据)。

1.jpg

DRS录制回放与DRSUGO的关系

数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效,用于数据库实时迁移和数据库实时同步的云服务,着重于数据库毫秒级数据同步,支持同构异构数据库之间的数据传输/搬迁,降低数据库之间数据流通的复杂性,减少数据传输成本。

数据库和应用迁移 UGODatabase and Application Migration UGO,简称UGO)是专注于异构数据库结构迁移的云服务,可将源数据库中的DDLDMLDCL一键自动转换为华为云GaussDBSQL语法,最大化降低用户数据库的迁移成本。

录制回放是DRS提供的业务仿真特性,结合DRS+UGO,以及DRS提供的数据一致性对比能力,形成了华为云数据库迁移整体解决方案,以保障客户割接过程的平滑性以及割接后数据库的稳定可靠运行。

2.png

技术原理

1.初始数据生成

在录制回放开始前,需要为目标数据库创建初始数据,初始数据的来源是源数据库某一时刻的快照数据。一致性模式场景下需要构建两个目标数据库,以某商业数据库(以下简称X数据库)到GaussDB为例,一个是X数据库回放数据库,一个是GaussDB回放数据库,两个回放数据库的初始数据必须完全一致。X数据库回放数据库的初始数据可以通过X数据库的备份恢复机制生成,GaussDB回放库的初始数据可以通过DRS数据同步能力,把X数据库回放数据库的初始数据全量同步过来。两个回放数据库的初始数据生成之后,建议做一次数据对比,确保数据一致。

2.流量录制

公有云场景主要支持自建或其他云上的MySQL生态数据库到华为云RDS for MySQLGaussDB(for MySQL)的录制回放,流量录制以源数据库提供的全量SQL、审计日志等技术为主。

3.png

具体流程如下:

1) 在源数据库上开启审计日志或者全量SQL,等待业务执行一段时间。

2) 将业务执行期间生成的审计日志或者全量SQL上传到华为云OBS

3) 在DRS上创建录制回放任务,选择上传到OBS的审计日志或全量SQL文件,DRS录制回放任务会读取审计日志或全量SQL文件,根据任务配置的源数据库类型解析出数据文件中的SQL信息,包含SQL语句、SQL类型、SQL执行时间、Schema名称、Session ID、客户端IP等,根据SQL语句的执行时间进行分片存储在元数据库中,在目标数据库上进行回放。

HCS场景主要支持常用自建数据库到GaussDB等几条链路的录制回放能力,流量录制均基于网络旁路抓包与协议解析技术,通过部署抓包Agent,在服务器上对数据库端口进行TCP/IP网络数据包抓取,分析推测出业务执行的SQL信息,该技术对源数据库影响极小且SQL抓取率极高。具体流程如下:

4.png

1) 在源数据库上部署流量采集Agent包。

2) Agent采集服务器上对应数据库端口的TCP/IP网络包,通过UDP协议发给流量采集器,生成流量数据文件。

3) 流量解析模块读取流量数据文件,分析推测出业务执行的SQL信息,包含连接ID、客户端类型、SQL类型、SQL语句、绑定变量值、执行开始时间、执行结束时间、执行是否成功、存储过程参数等信息,根据SQL语句的执行时间进行分片存储在元数据库中,在目标数据库上进行回放。

3.仿真回放

将流量录制的SQL语句在目标上根据配置的回放模式进行回放,实现业务SQL的兼容性验证、执行性能评估、结果一致性验证等。具体原理如下:

5.png

1) 异构场景下,会对流量录制的SQL语句进行语法转换,转换成目标数据库支持的语法,避免因为SQL语法的差异导致在目标数据库回放时出现语法错误。

2) 语法转换成功后,通过流量控制器将待回放的SQL语句根据不同的回放模式进行调度控制,以便验证不同场景的回放结果。流量控制器支持三种回放模式:
仿真模式:完全模拟源数据库的流量和并发进行回放,以便验证相同压力下目标数据库的运行情况。
摸高模式:把源数据库流量等比例成倍增加压力,以便验证目标数据库可以承受的最大压力情况。
一致性模式:以单并发的方式在两个目标数据库回放,确保回放的顺序完全一致,以达到回放后的数据也是一致的目的。回放完成后可通过数据对比工具对比两个目标库的数据,在排除了幂等SQL的前提下,验证所有SQL是否在两个目标库上语义完全一致。

3 SQL回放器往目标数据库中并发回放SQL,场景不同,回放方式也不同。仿真和摸高模式,采用多并发回放,两个目标数据库是独立的,互不干扰。一致性模式,采用单并发回放,两个目标数据库回放是同步,即对于一条SQL,先回放同构目标数据库,成功之后再回放异构目标数据库,如果同构目标数据库回放失败,则该SQL就不再异构目标数据库上回放了。

4) 回放完成的SQL会经过回放分析器进行分析,将回放异常的结果以及根据配置的慢SQL标准分析得出的慢SQL结果存入回放记录表中。

应用场景

数据库兼容性和性能验证

互联网客户将云数据库搬迁到华为云数据库RDS for MySQLGaussDB(for MySQL),以及金融客户使用华为云GaussDB数据库替代传统数据库,可以采用录制回放验证华为云数据库的稳定性和性能。

数据库重大问题复现定位

针对异构数据库搬迁,如某商业数据库搬迁到GaussDB,如内核做了该商业数据库类型的兼容性或者使用UGO进行对象迁移,可以采用录制回放验证存储过程、触发器等对象的执行成功率和结果的正确性。

数据库大版本间升级验证

RDS for MySQL、GaussDB(for MySQL)GaussDB从各自的低版本升级到高版本,可以采用录制回放验证版本升级后是否存在功能变化或性能劣化。

DRS录制回放,通过业务仿真提前感知业务稳定性和性能,保障客户割接后数据库的稳定可靠运行。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。