从腾讯云COS向华为云OBS迁移数据的解决方案【玩转华为云】

举报
liuzhen007 发表于 2022/02/14 09:41:41 2022/02/14
【摘要】 前言目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。 正文既然打算把数据从腾讯云COS迁移到华为云OBS,我们必须要先了解华为云的对象存储OBS。通过查...

image.png

前言

目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。

正文

既然打算把数据从腾讯云COS迁移到华为云OBS,我们必须要先了解华为云的对象存储OBS。通过查阅资料发现华为云支持三种方式,将第三方云厂商的数据迁移至OBS。

关于这三种方式,下面详细介绍一下。

第一种方式——OMS方式

OMS方式是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。

这种方式非常合适大规模对象数据全量或者增量迁移的场景,数据量最好在500TB以下。另外,迁移速度也非常快,大概能够实现120MB/s~240MB/s。

具体迁移步骤如下:

    1. 创建OBS桶

登录OBS控制台,创建桶用于存放迁移数据。

    1. 创建OMS迁移任务

在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商(源端)与OBS(目的端)关联。

    1. 开始数据迁移

执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行状态以及查看到最终结果。

第二种方式——CDM方式

通过CDM,用户可以将第三方云厂商的对象存储服务与华为云OBS连接,从而实现对象数据无缝迁移。这种方式适用于小容量数据的迁移或者周期性迁移场景,数据量一般在10TB以下。迁移速度比OMS方式稍微慢一些,大概能够能够实现60M/s~120MB/s。

具体迁移步骤如下:

    1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

    1. 购买CDM

购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。

    1. 配置连接与作业

      1)在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连接,和一个以OBS作为数据目的地的目的连接。

      2)创建CDM作业,执行从第三方云厂商迁移到OBS的任务。

    1. 开始数据迁移

运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度。

第三种方式——OBS数据回源方式

OBS数据回源的方式适用于无缝迁移数据到OBS的场景,即业务数据存储用户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。这种方式不适合我们的应用场景,因此,可以先pass。

第四种方式——自定义方式

这种方式就是自己定义迁移逻辑的实现,比如,我们可以先将腾讯云COS上的文件数据下载下来,再调用华为云的OBS对象存储的上传接口,进而实现数据的迁移。当然,这只是一种方式,我们还自己定义别的实现。因此,这也是一种方式。

结尾

好了,关于把数据从腾讯云COS迁移到华为云OBS的解决方案就介绍完了,大家可以根据自己的需要选择合适的方式。晚安,我是 liuzhen007,欢迎评论留言+一键三连。


作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。