C80迁移到651使用651集群资源方法

C80迁移到651使用651集群资源方法

场景：c80迁移到651,需要使用651集群资源，c80集群配置了nodelabel

问题:互信配置完成后，C80访问651正常，651访问C80异常，报错如下

问题原因：新旧版本客户端兼容性有限制，只能保证老版本客户端访问新集群，不能保证新版本客户端访问老集群，在C80未使用nodelabel特性时，两集群可以正常访问，使用nodelabel特性后，会出现上述问题

规避方案：（使用c80客户端将任务提交到651集群上）

一、 配置651集群

1、启用651集群的跨集群拷贝功能，（参考产品文档“启用集群间拷贝功能”，将C80的主备NN的信息配置上）章节，不用配置C80集群的跨集群拷贝

2、在651集群上添加自定义参数

登录651manager界面>Yarn>全部配置，左侧导航栏选择“自定义”，在yarn.hdfs-site.customized.configs中添加以下参数

名称：dfs.client.failover.proxy.provider.hacluster

值：org.apache.hadoop.hdfs.server.namenode.ha.BlackListingFailoverProxyProvider

3、重启Yarn服务，并重新下载651客户端

二、配置DistributedCache

1、 将C80客户端下hadoop目录压缩成hadoop-mapreduce-2.7.2.tar.gz

tar -zcvf hadoop-mapreduce-2.7.2.tar.gz hadoop

2、使用651客户端将hadoop-mapreduce-2.7.2.tar.gz上传到HDFS的/user/mapred/目录下

       hadoop fs -put hadoop-mapreduce-2.7.2.tar.gz /user/mapred/

3、修改651客户端Yarn配置，例如：“/opt/client/Yarn/config/mapred-site.xml”）

       配置项名称：mapreduce.application.framework.path

       值：hdfs:/user/mapred/hadoop-mapreduce-2.7.2.tar.gz#mrframework

       配置项名称：mapreduce.application.classpath

值：$HADOOP_CONF_DIR,$PWD/mrframework/hadoop/share/hadoop/mapreduce/*,$PWD/mrframework/hadoop/share/hadoop/mapreduce/lib/*,$PWD/mrframework/hadoop/share/hadoop/common/*,$PWD/mrframework/hadoop/share/hadoop/common/lib/*,$PWD/mrframework/hadoop/share/hadoop/yarn/*,$PWD/mrframework/hadoop/share/hadoop/yarn/lib/*,$PWD/mrframework/hadoop/share/hadoop/hdfs/*,$PWD/mrframework/hadoop/share/hadoop/hdfs/lib/*

说明：如果为联邦集群，参数需要调整，参数可参考“升级指导书>滚动升级配置分布式缓存”章节

三、配置C80客户端

1、在651节点上安装C80集群的客户端，参考产品文档；

也可以使用c80集群原有的客户端，但不要和C80业务使用同一客户端

2、将C80客户端的Yarn配置文件目录备份，并将步骤“二”中651客户端Yarn的配置文件拷贝到C80客户端下

3、 配置C80客户端参数（/opt/client/Yarn/config/）

修改hdfs-site.xml

将hdfs-site.xml文件中的所有AdaptiveFailoverProxyProvider替换成BlackListingFailoverProxyProvider（总共6处）

修改yarn-site.xml

删除yarn.ipc.server.factory.class参数

四、 验证

source刚才配置的C80的客户端，并认证用户

执行distcp命令，做集群迁移

hadoop distcp hdfs://haclusterX/test/hadoop-mapreduce-2.7.2.tar.gz hdfs://hacluster/tmp