MRS集群切换VPC后集群状态异常不可用
【问题现象】:
MRS310版本集群,在ecs侧将所有节点的vpc切换后集群状态异常
所有服务不可用,其中Hive beeline报错如下:
【问题分析】:
MRS不支持切换vpc,切换vpc后,节点的内网ip变化,但是配置文件里面和数据库里面的ip还是原来的,导致集群通信等功能异常,集群状态也会异常,所以要恢复集群,就需要将节点切回到原来的VPC且ip和hosts文件中的ip主机映射一一对应。
【解决方案】:
1.登录master1节点,ifconfig可以看到切换vpc之后ip是192.x.x.x,
cat /etc/hosts文件,里面记录的ip是切换vpc之前的10.x.x.x。
MRS控制台节点管理里面,节点的ip是从数据库查询出来的也是10.x.x.x。
2.在MRS集群概览页面确认集群的vpc名称
3.在ecs控制台,通过mrs集群id搜索集群的所有节点,参考图示步骤,切换节点vpc,每个节点都需要操作
4.切换vpc时,虚拟私有云,子网,安全组需要和集群初始的配置一致(可在mrs集群概览页面进行查看),私有IP地址选择现在创建,填写为集群中/etc/hosts文件中对应节点的ip,如下图:
5.切换成功后需要在节点的弹性网卡中重启一下“源/目的检查”按钮。
6.待节点vpc全部切换成功后,发现manager页面无法访问,公网ip地址也无法ping通,是因为切换vpc后集群的浮动ip被强制解绑,所以公网ip和浮动ip不指向任何ecs,需要在vpc控制台将虚拟ip重新绑定到集群的两个master节点上,步骤如下:
① 确认mrs集群浮动ip
在mrs manager概览页面,点击前往manager右边的切换访问Manager方式的图标
选择专线访问,即可查看集群浮动ip
② 在vpc控制台,搜索mrs集群的子网,点击子网名称即可进入详情页面,然后点击IP地址管理,如下图,确认mrs集群浮动ip绑定的实例为空
③ 点击绑定实例,分别选择两个master节点,绑定成功后如下图:
7.等待集群恢复即可。
- 点赞
- 收藏
- 关注作者
评论(0)