MRS物理机纳管概述

举报
番茄炒蛋 发表于 2021/08/31 17:43:54 2021/08/31
【摘要】 纳管 是针对线下存量 F I物理机集群进行线上统一 运维管理的操作手段 ,本文档将 详细为大家介绍 纳管 的流程以及 纳管 适用的操作场景和纳管后的 关键 功能 。

1 、 纳管 背景

在HCS的行业云上 ,需要能够支持将已经在线下销售给客户的存量 F I集群 (集群部署在客户I DC机房的物理机 )纳管到行业云上的M RS管控面 统一运维管理。

图一 纳管总体设计图

2 、 纳管前提

  • 2 .1 客户的集群需要与 H CS的 M RS管控面 (D MZ区 )网络互通
  • 2 .2 、如果待纳管的集群基础版本为FusionInsight 6.5.1,且首次安装6.5.1.x补丁需要参考补丁安装指导书更新sudo脚本。
  • 2 .3 联系HUAWEI CLOUD Stack系统管理员获取以下信息
  • 2.4、 ManageOne运营面的登录地址和用户名密码
  • 2.5、 MRS/FusionInsight集群OMS浮动IP 地址。
  • 2.6、 FusionInsight Manager用户名和密码,要求该用户 具有 “Manager_administrator” 角色权限。
  • 2 . 7 待纳管的物理机集群内各节点的时区时间信息需要与HUAWEI CLOUD Stack管理面保持一致,否则纳管后可能会出现MRS管理控制台上无法查询集群作业任务的情况
  • 2 . 8 待纳管的物理机集群的主备OMS节点操作系统为下表范围内时,则该集群不支持纳管。非OMS节点的操作系统没有如下约束限制。
服务器类型

操作系统

操作系统版本号


通用X86服务器






SUSE

SUSE Linux Enterprise Server 12 SP3(SUSE12.3)及以下版本

RedHat

RedHat-7.4-x86_64(RedHat 7.4)及以下版本

CentOS

CentOS-7.4版本(CentOS 7.4)及以下版本

EulerOS

EulerOS 2.3及以下版本

Oracle

Oracle Linux 7.4及以下版本

中标麒麟

NeoKylin-6.9及以下版本

TaiShan服务器





RedHat

RedHat-7.4-aarch_64(RedHat 7.4)及以下版本

CentOS

CentOS-7.4-aarch64版本(CentOS 7.4)及以下版本

EulerOS

EulerOS 2.3及以下版本

BC-Linux

BC-Linux-7.6

中标麒麟

NeoKylin-7.5 及以下版本

表 1 不支持操作系统统计表

3 纳管支持版本

被纳管集群需为 6 517之后版本 , 低于 6 517版本的集群纳管需先升级补丁或版本至 6 517或之后版本 , 此处支持的版本指的是 FusionInsight HD 的软件版本 。

4 纳管集群

4 .1 如果待纳管集群为基于 IP V 6网络 (I PV6 纳管FI版本需为 3 .0.2 之后版本 部署的集群, 需执行如下操作,非I PV6集群无需执行

(a) 配置N AT64转换 I PV6地址映射为 I PV4

图2 NAT64配置原理图

操作步骤

1. 询问实验室管理员获取防火墙IP地址、登录名、密码,使用命令行工具登陆防火墙。

1 .1 登录防火墙。

telnet 防火墙IP

1 .2 输入用户名、密码。

1 .3 切换用户视图为sys。

S ys

说明 防火墙IP需保证与核心交换机互通。

2. 执行以下命令开启IPv6并启用nat64功能。

ipv6

nat64 enable

3. 进入防火墙对应IPv6接口,启用IPv6。

interface FIREWALL_INTERFACE

ipv6 enable

ipv6 address IPV6_ADDRESS

说明

FIREWALL_INTERFACE为核心交换机与防火墙连接接口,此处配置IPv6防火墙接口。

IPV6_ADDRESS需保证与核心交换机互通。

4. 配置对应地址映射。

nat64 prefix IPV6_NETWORK_SEGMENT IPV6地址前缀

nat64 static 主管理节点IPv6地址 主管理节点映射后的IPv4地址 unr-route

nat64 static 备管理节点IPv6地址 备管理节点映射后的IPv4地址 unr-route

nat64 static 集群浮动IPv6地址 浮动IPv6地址映射后的IPv4地址 unr-route

说明:

IPV6_NETWORK_SEGMENT表示IPv6地址网段,此处只可配置IPv6网段地址,如:FD00::

IPV6地址前缀可使用 ifconfig | grep prefixlen 命令进行查询。

5. 如需查看配置信息,执行如下命令,否则跳过此步骤

display current-configuration

6. 配置防火墙安全策略。

security-policy

default action permit

说明: default action permit 命令执行结束之后输入 Y ,并按回车键进行确认

7. 配置主节点IP规则。

rule name policy1

source-zone trust

destination-zone untrust

destination-address 主管理节点IPv6地址 IPv6地址前缀

action permit

8. 配置备节点IP规则。

rule name policy2

source-zone trust

destination-zone untrust

destination-address 备管理节点IPV6地址 IPv6地址前缀

action permit

9. 配置浮动IP规则。

rule name policy3

source-zone trust

destination-zone untrust

destination-address 集群浮动IPv6地址 IPv6地址前缀

action permit

10. 提交命令,保存并退出防火墙。

commit

q

save

(b) 使用PuTTY工具以 root 用户登录主管理节点

(c) 执行以下命令,编辑配置文件。

c d ${BIGDATA_HOME}/om-server/om/inst/cloud/linkHCS

vi ipv6_to_ipv4.ini

在该配置文件中,配置主、备管理节点通过 NAT64 映射后的 IPV4 地址。

active_oms_mapping_ipv4= 主管理节点 IPv6 地址映射的 IPv4 地址

standby_oms_mapping_ipv4= 备管理节点 IPv6 地址映射的 IPv4 地址

(d) 存配置。

使用 PuTTY 工具以 root 用户登录备管理节点,执行 1.b ~ 1.c

(e) omm 用户在主、备管理节点执行以下命令重启OMS。

sh ${BIGDATA_HOME}/om-server/om/sbin/restart-oms.sh

4 .2 使用“manage_admin”用户登录MRS管理控制台。

3 MRS登录 界面

4 .3 在MRS控制台上选择 “纳管集群” ,在弹出的对话框中分别填入以下参数。填写完毕后,单击“确定” 进行纳管操作

4 纳管集群

4 .4 如果纳管的物理机集群版本为FusionInsight 6.5.1.7,单击“确定”后,提示需要后台纳管操作时,需要执行以下步骤,其他集群版本请忽略。

4 .4.1 使用PuTTY工具以 omm 用户登录主管理节点,执行以下命令,运行“initializeHCS.sh”脚本。

cd /opt/huawei/Bigdata/om-server/om/inst/cloud/linkHCS/

./initializeHCS.sh

4 .5 纳管完成后,单击 集群名称 ,可进入集群 “概览” 页面,用户可进行相关业务操作。

5 现有集群列表

5 取消纳管

5.1 、操作场景

如MRS物理机集群发生过服务实例的增加、删除、或迁移后,需要将集群取消纳管后重新纳管。

5.2 、前提条件

请获取以下信息:

ManageOne运营面的登录地址和用户名密码,如“manage_admin”。

MRS集群主管理节点IP地址、omm用户密码

5 .3 、操作步骤

  1. 1. 登录MRS管理控制台。
  2. 2. 在左侧导航栏中选择“集群列表 > 现有集群”。
  3. 3. 在需要取消纳管的集群对应的“操作”列中,单击“取消纳管”。
  4. 4. 如果是取消纳管FusionInsight 6.5.1.7物理机集群时,才需要执行该步骤,否则请忽略。
  5. 5. 使用PuTTY以 omm 用户登录OMS主管理节点,执行以下命令卸载knox和executor。

           ${BIGDATA_HOME}/om-server/om/inst/cloud/linkHCS/clearHCS.sh

6 取消纳管

说明:

取消纳管过程会重启MRS集群的OMS进程,如需进行下一轮的集群纳管操作,请提前确认FusionInsight Manager页面已经可以正常登录,且页面内容正常显示。

如果取消纳管失败,可使用 root omm 用户登录待纳管集群主、备管理节点,查看日志文件“${BIGDATA_LOG_HOME}/controller/scriptlog/clearHCS.log”进行问题定位。

6 纳管集群功能

6.1 集群概览

在集群概览页面可进行集群名称修改 、 manager系统跳转登录 、监控指标定制管理、监控数据过滤显示、修改集群浮动I P 、 集群组件启停管理 、集群任务查询 等操作 , 具体操作如下图所示 :

7 集群概览

8 集群任务列表

6 . 2 节点管理

在节点管理页可对集群中的节点信息进行列表显示 , 并且支持根据不同属性排序功能 , 右上角集群组件管理 、 告警管理功能在所有 标签页均支持此功能

9 节点管理

6 . 3 组件管理

组件管理页支持客户端下载 、 组件启停管理 、组件信息显示、组件信息排序等功能

10 组件管理

点击组件服务名称可对组件进行组件重启、配置同步、监控指标定制 、服务配置修改、服务实例管理等功能,具体显示如下截图所示:

11 服务状态

12 实例管理

13 服务配置

6 . 4 告警管理

在告警管理页签支持告警 / 事件信息分页列表显示 、 告警 / 事件 信息查询排序 、告警 / 事件 信息导出、告警清除等功能

14 告警管理

除此之外还支持消息订阅规则,用户可根据各自业务订阅不同类型的告警信息

15 消息订阅规则


6 . 5 文件管理

用户可在文件管理标签页对 H DFS文件系统存储的文件信息进行查看、增删操作,具体展示如下图所示

16 文件管理

6 . 6 作业管理

作业管理标签页支持 添加、查看、删除作业功能,可创建 Spark、MapReduce、Flink、Hive类作业,支持作业信息分页展示

17 作业管理

6 . 7 租户管理

租户管理页签主要包含租户信息管理、资源池管理、资源分布策略设置、队列配置,如下图所示

18 租户管理

19 资源池

20 资源分配策略

21 队列配置

6 . 8 、标签管理

签管理页可 进行自定义添加、修改、删除标签,如下图所示

22 标签管理

7 、总结

物理机纳管是将客户存量的物理集群统一上移至 M RS管控面运维的解决方案,目前 F I测大部分运维功能已支持在 M RS进行统一运维管理。不支持的功能有节点扩缩容、重装主机、重装服务、实例等操作, 针对这些 场景需要进一步 探讨评审是否需要继续 扩展和完善, 以便 在未来能够更好的为客户创造价值。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。