大小网场景下连接HDFS原理和方法

场景：企业使用公有云时存在一种场景是切换公有云提供商的情况，其中hdfs数据迁移到华为云大数据服务(MRS)是一种典型的场景，由于hdfs集群在其他公有云上，那么数据切换时可能会面临大小网的场景，如下图，但是一般hdfs集群name node和data node节点都是配置的内网ip作为监听地址，迁移工具(CDM)从公网是无法可达的，此时需要给节点配置附加公网ip地址才可以连接。

原理：1. hdfs支持2种模式连接dn节点，支持ip直连&支持通过主机名连接，那么在大小网的场景就存在了可连接的可能，原理如下图：

        2.那么在大小网场景下，给cdm 配置hosts时配置主机名 映射成 公网IP地址，则可以通过公网读写数据。

    3. ip和主机名映射，可以在cdm创建hdfs连接里添加，如图所示。

其他：CDM也提供了agent模式，解决大小网的问题，这样就不用给所有节点绑定公网ip，具体参考帮助。

          https://support.huaweicloud.com/usermanual-cdm/cdm_01_0201.html