FusionInshgt MRS启用集群间拷贝功能

举报
一枚核桃 发表于 2021/08/28 14:29:19 2021/08/28
【摘要】 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能

当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。

管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。

对系统的影响

启用集群间复制功能需要重启Yarn,服务重启期间无法访问。

前提条件

  • 拷贝数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。
  • 对于安全模式的集群,集群之间需要配置系统互信。

操作步骤

    1. 登录其中一个集群的FusionInsight Manager。
    2. 选择集群 > 待操作集群的名称 > 服务 > Yarn > 配置,单击“全部配置”。
    3. 左边菜单栏中选择“Yarn > 集群间拷贝”。
    4. 修改参数“dfs.namenode.rpc-address”,在“haclusterX.remotenn1”右侧填写对端集群其中一个NameNode实例的业务IP和RPC端口,在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。

      “haclusterX.remotenn1”和“haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“25000”,不支持通过Manager修改。

      修改后参数值例如:“10.1.1.1:25000”和“10.1.1.2:25000”。

    5. 单击“保存”,并在确认对话框中单击“确定”。
    6. 重启Yarn服务。
    7. 登录另外一个集群的FusionInsight Manager,重复26

    说明

    • 如果对端集群配置了Federation,有多对NameNode(即多个NameService),则此处同一组参数只能配置其中的一个NameService中的两个NameNode的RPC地址。请勿配置两个不在同一NameService的NameNode的RPC地址。
    • 如果本集群数据要备份至多个集群的HDFS中,可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。
    【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。