DWS云环境裸金属模式集群管控面后台MySQL数据库故障修复

DWS服务管控面后台数据库

• DWS/ECF后台数据库主备节点：
  DWS-DB01,DWS-DB02；
  ECF-COMMON-DB01,ECF-COMMON-DB02；
  ECF-CM-DB01,ECF-CM-DB02；
• 查找DWS/ECF后台数据库主备节点;
  serviceOM–》虚拟机–》按名称过滤“DWS-DB”获取DWS-DB01,DWS-DB02；
  按名称过滤“ECF”获取ECF-COMMON-DB01,ECF-COMMON-DB02和ECF-CM-DB01,ECF-CM-DB02；
• 检查DWS/ECF后台数据库主备节点是否正常：
  分别登录DWS-DB01，DWS-DB02；ECF-COMMON-DB01,ECF-COMMON-DB02；ECF-CM-DB01,ECF-CM-DB02；
  查看mysqld进程是否存在
  ps -ef|grep mysqld
  如果不存在则有异常，备机需要恢复
• 主备节点检查库状态：
  执行Get_db_status.py，备节点关注：备ip status:Slave IO=Yes,Slave_SQL=Yes，正常两个都是Yes，否则需要停掉备库(主正常情况下)，然后重建备库
  检查备节点HA状态，Get_HA_status.py，关注备库信息：MHA service is online，主的应该是offline
• 备机恢复：
  1.查看节点是否为主节点，ip a，浮动ip在该节点则说明其是主节点
  2.登录备节点，切换到mysql用户，使用pathon脚本进行重建
  python /usr/local/bin/MHA_RebuildSlave.py ip
  ip为对应主节点对应的ip
  如果有日志权限报错：IOError:[Error 13] Permission denied:’/tmp/CloudDb_Mysql_KA2MHAVIP.log’
  则修改log的属主解决然后再重试：chown -R mysql:mysql /tmp/CloudDb_Mysql_KA2MHAVIP.log
  3.等待build完成，查看备节点mysql进程是否正常
  ps -ef|grep mysql
  有mysqld则正常