CDM初阶指导之阿里云OSS迁移到SFS

Leef724 发表于 2020/06/12 16:59:25 2020/06/12
【摘要】 弹性文件服务(Scalable File Service,简称SFS)可以为您的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。迁移原理CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁...

弹性文件服务Scalable File Service,简称SFS)可以为您的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。

迁移原理

CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁移方法。

image.png


首先我们将SFS文件系统挂载到ECS(这里的ECS也可以是您的HPC集群)的某个目录,然后CDM通过SFTP端口来访问ECS的该目录,具体操作流程如下:

1)要求CDM集群、SFS文件系统,还有SFS文件系统挂载的ECS,都要在同一个VPC下。

2)由于SFS文件系统目前仅支持NFSv3协议挂载到Linux云服务器,所以要求ECSLinux系统。

准备数据

1)阿里云OSS的外网访问域名,例如:oss-cn-hangzhou.aliyuncs.com

2)阿里云OSS的访问密钥,或者临时访问密钥、安全令牌。

3)ECS的内网访问IPSFTP端口,以及登录用户名、密码。

SFS文件系统挂载到ECS

ECS上执行如下命令,将SFS文件系统挂载到ECS,具体操作请参见SFS入门的挂载文件系统到云服务器(Linux章节。

cd /
mkdir sfs
mount -t nfs -o vers=3,timeo=600,nolock 共享路径 本地路径

如果mount的时候出现“wrong fs type”的错误信息,说明缺少nfs-utils的包,执行yum install y nfs-utils命令安装即可。

创建CDM集群并绑定EIP

1)登录CDM管理控制台,创建CDM集群,具体操作请参见官网

2)集群创建完成后,在集群管理界面,单击集群操作列的“绑定弹性IP”。CDM集群通过公网访问阿里云OSS由于是数据上云,上行流量不计费,弹性IP的带宽为10Mbit/s即可。

如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。

创建SFTP连接

1)单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如8-44所示。

2) 选择“SFTP”后,单击“下一步”配置SFTP连接参数,创建SFTP连接

3)单击“保存”回到连接管理界面。


创建OSS连接

1)在连接管理界面选择“新建连接”,连接器类型选择“阿里云对象存储(OSS)”后单击“下一步”,配置连接参数,具体参照我的上一篇博客

2)单击“保存”回到连接管理界面。

创建迁移作业

1)选择“表/文件迁移 > 新建作业”,开始创建从OSS迁移数据到SFS的任务,如下图所示

image.png

2)源端作业配置

桶名:OSS的桶名。源目录或文件:OSS对象的对象名,或对象前缀,如果输入一个对象前缀,会把该前缀下的对象全部迁移。

文件格式:这里选择“二进制格式”,二进制格式适用于文件的原样复制高级属性里的可选参数保持默认。

3)目的端作业配置

写入目录:ECS的目录,这里要输入SFS挂载的目录。

文件格式:与源端一样,这里选择“二进制格式”。

重复文件处理:选择“跳过重复文件”。CDM在迁移文件前会进行文件对比,如果源文件在目的端已经存在,且文件大小一致,则会判定为重复文件,迁移时就会跳过。

4)调高“抽取并发数”,需要在ECS中调高SSH的最大连接数:

修改“/etc/ssh/sshd_config”中#MaxStartups 10:30:100,将其改为MaxStartups 1000

修改“/etc/ssh/sshd_config”中#MaxSessions 10,将其改为MaxSessions 1000

重启sshdservice sshd restart

image.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。