建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

云小萌

发帖: 36粉丝: 6

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-10-17 14:05:25 2250 3
直达本楼层的链接
楼主
显示全部楼层
[存储] 【云小课】基础服务第23课 搬迁本地数据至OBS,多种方式任你选

 上一节OBS小课(第二十二课)中,我们一起从零认识了对象存储服务OBS。感兴趣的同学们已经迫不及待的想要试用了吧。

已有的业务数据可能保存在本地的自建存储服务器上,也有可能保存在第三方云厂商中,可能大家首要面临的问题就是还不清楚如何将自己的业务数据搬迁至OBS。华为云OBS提供全场景的数据迁移解决方案,满足从离线到在线,从云下到云上,从友商云到华为云,从GB级到EB级的数据迁移需求,实现“企业数据迁移零门槛”。小课今天先为大家介绍搬迁本地数据至OBS的方法,下一节再为大家介绍迁移第三方云厂商数据至OBS的方法。

首页图.PNG

华为云当前提供了多种线下到线上的数据搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。

针对不同的搬迁场景及需求,华为云提供的搬迁方案如下:

表格.PNG

下面小课将针对以上五种方案做详细介绍:

  • OBS工具方式

    OBS工具方式适用于百GB规模的数据搬迁。OBS提供OBS Browser、obsutil等多种客户端工具,方便用户在本地直接将数据上传至OBS。由于上传需要占用用户公网带宽,为不影响用户在公网上主营业务,建议利用公网带宽空闲的时间上传数据。各工具使用场景及操作指导,请参见OBS工具指南

  • CDM方式

    云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。

    图1.png

      1. 创建OBS桶:通过OBS控制台或OBS Browser创建桶,用于存放用户原始数据

      2. 购买CDM:购买CDM服务,即创建CDM集群,用于管理连接与作业

      3. 配置连接与作业:在创建CDM集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云 端OBS连接。然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务

      4. 启动数据传输:运行CDM作业,启动数据传输。用户可以通过作业管理界面查看作业进度。

     示例:周期性备份FTP服务器上的文件到OBS

     CDM支持周期性自动将新增文件上传到OBS,不需要写代码,也不需要用户频繁手动上传即可使用华为云OBS的海量存储能力进行文件备份。以CDM周期性备份FTP服务器上的文件到OBS为例,在CDM上的详细操作请参见周期性备份FTP/SFTP的文件到华为云OBS

     示例:金融大数据咨询业务数据迁移

     使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。详细操作请参见金融大数据咨询业务数据迁移

  • DES磁盘方式

       DES磁盘方式同样采用离线的方式将用户数据磁盘(USBeSATA接口的磁盘等)快递至华为云,实现数据高效传输。磁盘方式适用于TB级的数据量搬迁。

        图2.png

       1. 创建OBS桶:通过OBS控制台或OBS Browser创建桶,用于存放用户原始数据

       2. 创建DES磁盘方式服务单:登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心

       3. 启动数据传输:华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AKSK)来启动数据上传。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。同时华为云数据中心也会将用户磁盘回寄给用户

       具体操作步骤请参见磁盘方式详细指导 

  • DES Teleport方式

       Teleport是数据快递服务(Data Express ServiceDES)专为TBPB级数据搬迁至OBS而定制的存储设备,具有防尘防水、抗震抗压以及GPS锁定、传输加密等多重安全防护机制,配合离线传输的方式,能安全、高效的完成大规模数据搬迁

        图3.png

       1. 创建OBS桶:通过OBS控制台或OBS Browser创建桶,用于存放用户原始数据

       2. 创建DES Teleport服务单:DES提供Teleport和磁盘两种数据快递方式,在当前场景下选择Teleport方式

       3. 接收并导入数据至Teleport:成功创建DES服务单后,用户将接收到由华为数据中心邮寄的Teleport设备。接着进行简单配置操作使Teleport与用户客户端连接起来,然后执行数据拷贝并将设备回寄给华为云数据中心

       4. 启动数据传输:在华为云数据中心收到回寄的Teleport后,用户可以在DES控制台上输入访问密钥启动数据从TeleportOBS指定桶的传输。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。

       具体操作步骤请参见Teleport方式详细指导 

  • 云专线方式

       云专线方式由用户自己购买云专线服务(Direct ConnectDC),直接将用户本地的网络与华为云网络打通,实现专线直接访问OBS等服务。云专线方式适用于需要频繁或实时地将本地数据搬迁至OBS的场景。专线提供的低时延、高带宽,可以满足用户随时上传数据至OBS的需求。

       图4.png

       1. 创建OBS桶:登录OBS控制台,创建一个或多个用于存储用户数据的桶

       2. 开通云专线服务:登录云专线控制台,根据业务需求填写专线申请并提交订单,待管理员审核通过后,用户支付订单,联系运营商安排工程师接通两端物理线路,华为工程师配合进行连接配置。具体操作步骤请参见开通云专线

       3. 配置VPC终端节点:VPC终端节点中创建DNS终端节点和OBS终端节点,在本地数据中心配置DNS转发规则、DNS路由以及OBS路由。具体操作参见配置通过内网访问OBS服务的终端节点

       4. 启动数据传输:专线搭建成功并完成VPC终端节点配置后,用户便可以通过控制台、工具、APISDK等多种方式将本地数据上传至OBS

特别说明:

如果对于数据迁移有特殊要求,华为云专业数据迁移团队可以为用户定制迁移方案并全程贴身服务,以满足多样化实时/在线/离线服务。

针对今天的课程内容有任何疑问,欢迎留言咨询。下一节课,小课将继续为大家介绍迁移第三方云厂商数据至OBS的方法,敬请关注。


【往期回顾】


举报
分享

分享文章到朋友圈

分享文章到微博

煎蛋面

发帖: 15粉丝: 4

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-10-17 14:31:30
直达本楼层的链接
沙发
显示全部楼层

方式很多 ,讲解清晰

赞一个~


点赞 评论 引用 举报

闷葫芦先生

发帖: 2粉丝: 0

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-10-17 14:38:55
直达本楼层的链接
板凳
显示全部楼层

点赞 评论 引用 举报

RobertBai

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-10-17 17:33:40
直达本楼层的链接
地板
显示全部楼层

迁移方式真周全

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册