CDM迁移HDFS数据上云（OBS）详解

CDM迁移服务配置流程：购买云数据迁移服务->作业管理->创建连接管理（源端和目的端）->创建表/文件迁移。

步骤一：

进入CDM控制台：

步骤二：

点击步骤一中的【购买云数据迁移服务】：

当前区域：有专线的情况下，选择专线打通区域。

实例类型：有计算配置、带宽基准、并发数三个指标，可根据预计迁移的速度、迁移文件的数量、迁移文件的大小等因素综合考虑，如果无法确认，可以联系技术人员给出建议。

网络：虚拟私有云和子网特别在使用专线的情况下，需要选择专线打通的VPC网络和子网。

安全组：设置开放需要使用到的端口。

自动关机、定时开机、定时关机可根据需要开启，注意：自动关机功能和定时开关机功能不可同时开启。

消息通知：开启后可以接受到异常消息。

配置完成后点击【立即购买】，支付完毕后跳转到首页。

步骤三：

进入首页后，集群状态显示“创建中”，需要等待一定时间

创建完成59%：

步骤四：

步骤三中创建完成后，点击【作业管理】：

选择【连接管理】：

点击【新建连接】：

在这里选择连接到的服务，我们以迁移Hadoop中Apache HDFS数据（源端）到对象存储中对象存储服务（OBS）（目的端）为例。

步骤五（创建源端连接器）：

步骤四中选择【Apache HDFS】，点击【下一步】：

输入名称（自拟）：URI为NameNode URI地址。

认证类型和运行模式根据实际情况选择。

IP与主机映射关系：如果HDFS配置文件使用主机名，需要配置IP与主机的映射，格式：IP与主机 名之间使用空格分隔，多对映射使用分号或回车换行分隔，例如：

nameNode1 192.168.1.1

dataNode1 192.168.1.2

可以通过点击【测试】按钮，看配置是否OK。测试成功后保存。

步骤六（创建目的端连接器）：

如步骤五中，选择【对象存储】，点击【对象存储服务（OBS）】：

输入名称，OBS终端节点，端口，AK和SK，测试连通性，成功后保存。

步骤七：

选择步骤四中【表/文件迁移】，点击【新建作业】：

输入作业名称，选择已创建的连接器，源端-Apache HDFS，目的端-OBS。选择源端目录或文件（待迁移数据的路径）和目的端写入目录。文件格式选择二进制格式。高级属性中，根据需要选择。

配置完成后，点击【下一步】：

任务配置中，有作业失败重试（建议开启，避免网络抖动引起的迁移失败），作业分组，是否定时执行，还有高级属性，可根据需要配置。其中高级属性中，抽取并发数是同时拉取数据并发数任务，并发数越高，迁移速度越快。

配置完成后，点击【保存并运行】：