离线大数据迁移到MRS（三） 通过CDM迁移HDFS数据到华为云MRS服务

离线大数据迁移到MRS（三）

通过CDM迁移HDFS数据到华为云MRS服务

借助华为云云数据迁移服务CDM，可以完成线下IDC机房或者自建Hadoop集群上的HDFS数据迁移到华为云MRS服务。本文重点介绍如何通过使用CDM将HDFS数据搬迁到MRS。

     CDM华为云云数据迁移服务用户资料： https://support.huaweicloud.com/productdesc-cdm/cdm_01_0143.html

迁移操作步骤

一、配置CDM进行HDFS数据搬迁

     （1）  创建CDM集群，创建CDM集群时候选择和MRS新集群在同一个安全组、同一个VPC、同一个子网网络，保证CDM集群和MRS集群之间网络是互通的。

（2） 集群创建成功后，进入CDM集群管理， 在“连接管理”上，新建到迁移源端和迁移目的端集群的两个HDFS连接。并测试连通性。

（3）       在“表/文件迁移” 中新建作业，源端选择老集群的HDFS连接并选择要迁移的文件夹，目的端选择MRS的HDFS连接并指定目的路径。通过目录过滤器选择test*，迁移匹配/user/test*的文件夹。

（4）       单击“保存”，回到作业管理界面

（5）       在CDM作业管理界面运行作业，即可开始HDFS文件数据搬迁。

         (6)  在MRS新集群客户端上通过hdfs命令查看迁移过来的文件夹和文件,可以看到/user/路径下以test  test2 test3 test4 4个文件夹和他下面的文件均已经迁移到当前集群上。

（7）在迁移数据时候并不会中断老集群的业务。完成一次数据迁移后，就可以在新集群上做些业务层面的验证；后续配置CDM定时任务定期每天（时间可以根据具体业务需求设置）迁移一次增量数据，直到所有业务割接到新集群。每天定期任务执行时候会跳过重复文件的搬迁，只迁移老集群上新增的文件