CDM初阶指导之阿里云OSS迁移到SFS

弹性文件服务（Scalable File Service，简称SFS）可以为您的弹性云服务器（ECS）提供一个完全托管的共享文件存储，符合标准文件协议（NFS），能够弹性伸缩至PB规模，具备可扩展的性能，为海量数据、高带宽型应用提供有力支持。

迁移原理

CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS，无需中转和写代码，实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁移方法。

首先我们将SFS文件系统挂载到ECS（这里的ECS也可以是您的HPC集群）的某个目录，然后CDM通过SFTP端口来访问ECS的该目录，具体操作流程如下：

1）要求CDM集群、SFS文件系统，还有SFS文件系统挂载的ECS，都要在同一个VPC下。

2）由于SFS文件系统目前仅支持NFSv3协议挂载到Linux云服务器，所以要求ECS为Linux系统。

准备数据

1）阿里云OSS的外网访问域名，例如：oss-cn-hangzhou.aliyuncs.com。

2）阿里云OSS的访问密钥，或者临时访问密钥、安全令牌。

3）ECS的内网访问IP、SFTP端口，以及登录用户名、密码。

将SFS文件系统挂载到ECS

在ECS上执行如下命令，将SFS文件系统挂载到ECS，具体操作请参见SFS入门的挂载文件系统到云服务器（Linux）章节。

cd /
mkdir sfs
mount -t nfs -o vers=3,timeo=600,nolock 共享路径 本地路径

如果mount的时候出现“wrong fs type”的错误信息，说明缺少nfs-utils的包，执行yum install –y nfs-utils命令安装即可。

创建CDM集群并绑定EIP

1）登录CDM管理控制台，创建CDM集群，具体操作请参见官网

2）集群创建完成后，在集群管理界面，单击集群操作列的“绑定弹性IP”。CDM集群通过公网访问阿里云OSS。由于是数据上云，上行流量不计费，弹性IP的带宽为10Mbit/s即可。

如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。

创建SFTP连接

1）单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图8-44所示。

2） 选择“SFTP”后，单击“下一步”配置SFTP连接参数，创建SFTP连接

3）单击“保存”回到连接管理界面。

创建OSS连接

1）在连接管理界面选择“新建连接”，连接器类型选择“阿里云对象存储（OSS）”后单击“下一步”，配置连接参数，具体参照我的上一篇博客

2）单击“保存”回到连接管理界面。

创建迁移作业

1）选择“表/文件迁移 > 新建作业”，开始创建从OSS迁移数据到SFS的任务，如下图所示

2）源端作业配置

桶名：OSS的桶名。源目录或文件：OSS对象的对象名，或对象前缀，如果输入一个对象前缀，会把该前缀下的对象全部迁移。

文件格式：这里选择“二进制格式”，二进制格式适用于文件的原样复制。高级属性里的可选参数保持默认。

3）目的端作业配置

写入目录：ECS的目录，这里要输入SFS挂载的目录。

文件格式：与源端一样，这里选择“二进制格式”。

重复文件处理：选择“跳过重复文件”。CDM在迁移文件前会进行文件对比，如果源文件在目的端已经存在，且文件大小一致，则会判定为重复文件，迁移时就会跳过。

4）调高“抽取并发数”，需要在ECS中调高SSH的最大连接数：

修改“/etc/ssh/sshd_config”中#MaxStartups 10:30:100，将其改为MaxStartups 1000。

修改“/etc/ssh/sshd_config”中#MaxSessions 10，将其改为MaxSessions 1000。

重启sshd：service sshd restart