GaussDB for DWS数据融合系列第七期:CDM导出数据

举报
油炸丸子 发表于 2021/02/28 23:01:28 2021/02/28
【摘要】 CDM支持迁移文档数据库服务(Document Database Service,简称DDS)的数据到其他数据源,本节以CDM与数据仓库服务(Data Warehouse Service,简称DWS)对接为内容,介绍如何使用CDM将DDS数据迁移到DWS。



概述

        云数据迁移服务(Cloud Data Migration,简称CDM),可以将其他数据源(例如MySQL)的数据迁移到GaussDB(DWS) 集群的数据库中。同时也支持使用CDM将数据导出到DWS集群的数据库中,本节博客将讲述CDM导出数据的具体操作。

创建CDM集群并绑定EIP

  1. 登录CDM管理控制台,创建CDM集群。关键配置如下:


    • CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
    • 如果DDS和DWS属于相同的VPC,则创建CDM集群时选择同一个VPC,不用绑定EIP。子网、安全组可以选择与其中一个(DDS或DWS)集群的保持一致,再配置安全组规则允许CDM集群访问另一个服务(DWS或DDS)的集群。
    • 如果DDS和DWS不在同一个VPC,则创建CDM集群时选择与DDS相同的VPC,再将CDM集群绑定EIP,CDM通过EIP访问DWS集群。


  2. CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问DWS。如果DDS与DWS在同一个VPC,则不用为CDM集群绑定EIP。


创建DDS连接

  1. 单击CDM集群后的“作业管理”,进入作业管理界面,再选择连接管理 > 新建连接,进入选择连接器类型的界面,如图1所示。
    图1 选择连接器类型
  2. 创建DDS连接时,连接器类型选择“文档数据库服务(DDS)”,然后单击“下一步”配置连接参数,参数说明如表1所示。


    参数名

    说明

    取值样例

    名称

    根据连接的数据源,用户自定义便于记忆、区分的连接名称。

    mongo_link

    服务器列表

    DDS集群的地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。

    192.168.0.1:7300;192.168.0.2:7301

    数据库名称

    要连接的DDS数据库名称。

    DB_mongodb

    用户名

    登录DDS数据库的用户名。

    cdm

    密码

    登录DDS数据库的密码。

    -

    表1 DDS连接参数


  3. 单击“保存”回到连接管理界面。


创建DWS连接

  1. “连接管理”界面单击“新建连接”,连接器类型选择“数据仓库服务(DWS)”
  2. 单击“下一步”配置DWS连接参数,必填参数如表2所示,可选参数保持默认即可。


    参数名

    说明

    取值样例

    名称

    输入便于记忆和区分的连接名称。

    dwslink

    数据库服务器

    DWS数据库的IP地址或域名。

    192.168.0.3

    端口

    DWS数据库的端口。

    8000

    数据库名称

    DWS数据库的名称。

    db_demo

    用户名

    拥有DWS数据库的读、写和删除权限的用户。

    dbadmin

    密码

    用户的密码。

    -

    使用Agent

    是否选择通过Agent从源端提取数据。

    Agent

    单击“选择”,选择连接Agent中已创建的Agent。

    -

    导入模式

    COPY模式:将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。

    COPY

    表2 DWS连接参数


  3. 单击“保存”完成创建连接。

创建迁移作业

  1. 选择表/文件迁移 > 新建作业,开始创建数据迁移任务。



                                                                                                   图2 创建DDS到DWS的迁移任务
  2. 配置作业基本信息:


    • 作业名称:输入便于记忆、区分的作业名称。
    • 源端作业配置
      • 源连接名称:选择创建DDS连接中的“mongo_link”
      • 数据库名称:选择待迁移数据的数据库。
      • 集合名称:DDS中MongoDB的集合,类似于关系型数据库中的表名。
    • 目的端作业配置
      • 目的连接名称:选择创建DWS连接中的连接“dwslink”
      • 模式或表空间:选择待写入数据的DWS数据库。
      • 表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。
      • 导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。


  3. 单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。


    • 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。
    • 导入到DWS时需要手动选择DWS的分布列,建议按如下顺序选取:
      1. 有主键可以使用主键作为分布列。
      2. 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
      3. 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
    • 如果需要转换源端字段内容,可在该步骤配置,具体操作请参见字段转换,这里选择不进行字段转换。
                                                                                                                图3 字段映射
  4. 单击“下一步”配置任务参数,一般情况下全部保持默认即可。


    该步骤用户可以配置如下可选功能:
    • 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”
    • 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
    • 是否定时执行:这里保持默认值“否”
    • 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”
    • 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
    • 作业运行完是否删除:这里保持默认值“不删除”


  5. 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。
  6. 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。