GaussDB for DWS 数据融合系列第九期:Oracle数据迁移到GaussDB(DWS)

举报
宋诚苟 发表于 2021/03/16 11:53:30 2021/03/16
【摘要】 本文说明了使用DSC工具从Oracle到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。

当客户选择切换到GaussDB(DWS)数据库后可能会面临数据库的迁移任务,数据库迁移包括用户数据迁移和应用程序sql脚本迁移,其中,应用程序sql脚本迁移是一个复杂、高风险且耗时的过程。

DSC(Database Schema Convertor)是一款运行在LinuxWindows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序sql脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序sql脚本,并迁移为适用于GaussDB TGaussDB A DWS数据库的应用程序sql脚本。

DSC不需要连接数据库,可在离线模式下实现零停机迁移,迁移过程中还会显示迁移过程状态,并用日志记录操作过程中发生的错误,便于快速定位问题。

迁移对象

DSC支持迁移TeradataOracleNetezzaMySQLDB2数据库的对象有:

  • Oracle、TeradataNetezzaMySQLDB2支持的通用对象:SQL模式,SQL查询
  • OracleNetezza支持的对象:PL/SQL
  • Teradata支持的对象:包含BTEQSQL_LANG脚本的Perl文件

迁移流程

DSC迁移sql脚本流程如下:

  1. TeradataOracle数据库导出待迁移的sql脚本到已安装了DSCLinuxWindows服务器。
  2. 执行DSC命令进行语法迁移,命令中指定输入文件路径、输出文件路径以及日志路径。
  3. DSC自动将迁移后的sql脚本和日志信息归档在指定路径中

执行Oracle SQL迁移

执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型:

Linux操作系统:

./runDSC.sh

--source-db Oracle

[--input-folder <input-script-path>]

[--output-folder <output-script-path>]

[--log-folder <log-path>]

[--application-lang Oracle]

[--conversion-type <conversion-type>]

Windows操作系统:

runDSC.bat
--source-db Oracle 
[--input-folder <input-script-path>] 
[--output-folder <output-script-path>]
[--log-folder <log-path>]
[--application-lang Oracle] 
[--conversion-type <conversion-type>]


迁移不含PL/SQL语句的普通DDL语句(表、视图、索引、序列等)时,应使用Bulk模式(即,将conversion-type参数设为Bulk)

以示例文件夹路径为例,将conversion-type参数设为Bulk命令如下

Linux操作系统:

./runDSC.sh --source-db Oracle --input-folder /opt/DSC/DSC/input/oracle/ --output-folder /opt/DSC/DSC/output/ --log-folder /opt/DSC/DSC/log/ --application-lang SQL --conversion-type bulk --targetdb gaussdbA


Windows操作系统:

runDSC.bat --source-db Oracle --input-folder D:\test\conversion\input --output-folder D:\test\conversion\output --log-folder D:\test\conversion\log --application-lang SQL --conversion-type blogic --targetdb gaussdbA


在工具执行时,控制台上会显示迁移汇总信息,包括迁移进度和完成状态。执行信息和错误会录入日志文件

********************** Schema Conversion Started ************************* 
 DSC process start time : Mon Jan 20 17:24:49 IST 2020 
 Statement count progress 100% completed [FILE(1/1)] 
  
 Schema Conversion Progress 100% completed 
 **************************************************************************  
 Total number of files in input folder : 1 
 **************************************************************************  
 Log file path :....../DSC/DSC/log/dsc.log 
 DSC process end time : Mon Jan 20 17:24:49 IST 2020 
 DSC total process time : 0 seconds 
 ********************* Schema Conversion Completed ************************


迁移含PL/SQL语句的函数、过程、包等对象时,应使用BLogic模式(即,将conversion-type参数设为BLogic)。

以示例文件夹路径为例,将conversion-type参数设为BLogic,命令如下:

java -jar migrationtool.jar --source-db Oracle --input-folder D:\test\migration\input --output-folder D:\test\migration\output --log-folder D:\test\migration\log --application-lang SQL --conversion-type blogic


在工具执行时,控制台上会显示迁移汇总信息,包括迁移进度和完成状态。执行信息和错误会录入日志文件

********************** Schema Conversion Started ************************* 
 DSC process start time : Mon Jan 20 17:24:49 IST 2020 
 Statement count progress 100% completed [FILE(1/1)] 
  
 Schema Conversion Progress 100% completed 
 **************************************************************************  
 Total number of files in input folder : 1 
 Total number of valid files in input folder : 1 
 **************************************************************************  
 Log file path :....../DSC/DSC/log/dsc.log 
 Error Log file :   
 DSC process end time : Mon Jan 20 17:24:49 IST 2020 
 DSC total process time : 0 seconds 
 ********************* Schema Conversion Completed ************************


Oracle PACKAGE迁移注意事项

  1. 应将包规范(即包头)与包体分置于不同文件、相同输入路径中进行迁移。
  2. 应先使用Bulk模式迁移普通DDL语句(包含PACKAGE脚本中引用到的全部表结构信息),以在config/create-types-UDT.properties文件中形成字典信息。之后再使用Blogic模式迁移包规范(即包头)与包体。具体解释如下:

在部分Oracle PACKAGE定义包规范时,使用了"tbName.colName%TYPE"语法以基于其他表对象声明自定义的记录类型。

    例如
    CREATE OR REPLACE PACKAGE p_emp
    AS
        --定义RECORD类型
        TYPE re_emp IS RECORD(
            rno emp.empno%TYPE,
            rname emp.empname%TYPE
        );
 
    END;


GaussDB暂不支持通过"tbName.colName%TYPE"语法在CREATE TYPE命令中指定列数据类型,MT工具在迁移时需要构建含有诸如emp表信息的数据库上下文环境。由此需要先使用MT工具迁移所有的建表脚本(即使用Bulk模式迁移普通DDL语句)MT内部会自动生成相应的数据字典。当含有各种表信息的上下文环境构建完成后,可以使用Blogic模式迁移 Oracle PACKAGE,此时re_emp记录类型会根据emp表的列类型完成迁移。

    期望输出
    CREATE TYPE p_emp.re_emp AS (
        rno NUMBER(4),
        rname VARCHAR2(10)
    );

 

 

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。