MRS物理机纳管概述
1 、 纳管 背景
在HCS的行业云上 ,需要能够支持将已经在线下销售给客户的存量 F I集群 (集群部署在客户I DC机房的物理机 )纳管到行业云上的M RS管控面 统一运维管理。
图一 纳管总体设计图
2 、 纳管前提
- 2 .1 、 客户的集群需要与 H CS的 M RS管控面 (D MZ区 )网络互通 。
- 2 .2 、如果待纳管的集群基础版本为FusionInsight 6.5.1,且首次安装6.5.1.x补丁需要参考补丁安装指导书更新sudo脚本。
- 2 .3 、 联系HUAWEI CLOUD Stack系统管理员获取以下信息
- 2.4、 ManageOne运营面的登录地址和用户名密码 。
- 2.5、 MRS/FusionInsight集群OMS浮动IP 地址。
- 2.6、 FusionInsight Manager用户名和密码,要求该用户 需 具有 “Manager_administrator” 角色权限。
- 2 . 7 、 待纳管的物理机集群内各节点的时区时间信息需要与HUAWEI CLOUD Stack管理面保持一致,否则纳管后可能会出现MRS管理控制台上无法查询集群作业任务的情况
- 2 . 8 、 待纳管的物理机集群的主备OMS节点操作系统为下表范围内时,则该集群不支持纳管。非OMS节点的操作系统没有如下约束限制。
服务器类型 | 操作系统 |
操作系统版本号 |
|
---|---|---|---|
通用X86服务器 |
SUSE |
SUSE Linux Enterprise Server 12 SP3(SUSE12.3)及以下版本 |
|
RedHat |
RedHat-7.4-x86_64(RedHat 7.4)及以下版本 |
||
CentOS |
CentOS-7.4版本(CentOS 7.4)及以下版本 |
||
EulerOS |
EulerOS 2.3及以下版本 |
||
Oracle |
Oracle Linux 7.4及以下版本 |
||
中标麒麟 |
NeoKylin-6.9及以下版本 |
||
TaiShan服务器 |
RedHat |
RedHat-7.4-aarch_64(RedHat 7.4)及以下版本 |
|
CentOS |
CentOS-7.4-aarch64版本(CentOS 7.4)及以下版本 |
||
EulerOS |
EulerOS 2.3及以下版本 |
||
BC-Linux |
BC-Linux-7.6 |
||
中标麒麟 |
NeoKylin-7.5 及以下版本 |
表 1 不支持操作系统统计表
3 、 纳管支持版本
被纳管集群需为 6 517之后版本 , 低于 6 517版本的集群纳管需先升级补丁或版本至 6 517或之后版本 , 此处支持的版本指的是 FusionInsight HD 的软件版本 。
4 、 纳管集群
4 .1 、 如果待纳管集群为基于 IP V 6网络 (I PV6 纳管FI版本需为 3 .0.2 及 之后版本 ) 部署的集群, 需执行如下操作,非I PV6集群无需执行
(a) 配置N AT64转换 , 将 I PV6地址映射为 I PV4 。
图2 NAT64配置原理图
操作步骤
1. 询问实验室管理员获取防火墙IP地址、登录名、密码,使用命令行工具登陆防火墙。
1 .1 登录防火墙。
telnet 防火墙IP
1 .2 输入用户名、密码。
1 .3 切换用户视图为sys。
S ys
说明 : 防火墙IP需保证与核心交换机互通。
2. 执行以下命令开启IPv6并启用nat64功能。
ipv6
nat64 enable
3. 进入防火墙对应IPv6接口,启用IPv6。
interface FIREWALL_INTERFACE
ipv6 enable
ipv6 address IPV6_ADDRESS
说明 :
• FIREWALL_INTERFACE为核心交换机与防火墙连接接口,此处配置IPv6防火墙接口。
• IPV6_ADDRESS需保证与核心交换机互通。
4. 配置对应地址映射。
nat64 prefix IPV6_NETWORK_SEGMENT IPV6地址前缀
nat64 static 主管理节点IPv6地址 主管理节点映射后的IPv4地址 unr-route
nat64 static 备管理节点IPv6地址 备管理节点映射后的IPv4地址 unr-route
nat64 static 集群浮动IPv6地址 浮动IPv6地址映射后的IPv4地址 unr-route
说明:
• IPV6_NETWORK_SEGMENT表示IPv6地址网段,此处只可配置IPv6网段地址,如:FD00::
• IPV6地址前缀可使用 ifconfig | grep prefixlen 命令进行查询。
5. 如需查看配置信息,执行如下命令,否则跳过此步骤
display current-configuration
6. 配置防火墙安全策略。
security-policy
default action permit
说明: default action permit 命令执行结束之后输入 Y ,并按回车键进行确认
7. 配置主节点IP规则。
rule name policy1
source-zone trust
destination-zone untrust
destination-address 主管理节点IPv6地址 IPv6地址前缀
action permit
8. 配置备节点IP规则。
rule name policy2
source-zone trust
destination-zone untrust
destination-address 备管理节点IPV6地址 IPv6地址前缀
action permit
9. 配置浮动IP规则。
rule name policy3
source-zone trust
destination-zone untrust
destination-address 集群浮动IPv6地址 IPv6地址前缀
action permit
10. 提交命令,保存并退出防火墙。
commit
q
save
(b) 使用PuTTY工具以 root 用户登录主管理节点 。
(c) 执行以下命令,编辑配置文件。
c d ${BIGDATA_HOME}/om-server/om/inst/cloud/linkHCS
vi ipv6_to_ipv4.ini
在该配置文件中,配置主、备管理节点通过 NAT64 映射后的 IPV4 地址。
active_oms_mapping_ipv4= 主管理节点 IPv6 地址映射的 IPv4 地址
standby_oms_mapping_ipv4= 备管理节点 IPv6 地址映射的 IPv4 地址
(d) 保 存配置。
使用 PuTTY 工具以 root 用户登录备管理节点,执行 1.b ~ 1.c 。
(e) 以 omm 用户在主、备管理节点执行以下命令重启OMS。
sh ${BIGDATA_HOME}/om-server/om/sbin/restart-oms.sh
4 .2 、 使用“manage_admin”用户登录MRS管理控制台。
图 3 MRS登录 界面
4 .3 、 在MRS控制台上选择 “纳管集群” ,在弹出的对话框中分别填入以下参数。填写完毕后,单击“确定” 进行纳管操作 。
图 4 纳管集群
4 .4 、 如果纳管的物理机集群版本为FusionInsight 6.5.1.7,单击“确定”后,提示需要后台纳管操作时,需要执行以下步骤,其他集群版本请忽略。
4 .4.1 使用PuTTY工具以 omm 用户登录主管理节点,执行以下命令,运行“initializeHCS.sh”脚本。
cd /opt/huawei/Bigdata/om-server/om/inst/cloud/linkHCS/
./initializeHCS.sh
4 .5 、 纳管完成后,单击 集群名称 ,可进入集群 “概览” 页面,用户可进行相关业务操作。
图 5 现有集群列表
5 、 取消纳管
5.1 、操作场景
如MRS物理机集群发生过服务实例的增加、删除、或迁移后,需要将集群取消纳管后重新纳管。
5.2 、前提条件
请获取以下信息:
• ManageOne运营面的登录地址和用户名密码,如“manage_admin”。
• MRS集群主管理节点IP地址、omm用户密码
5 .3 、操作步骤
- 1. 登录MRS管理控制台。
- 2. 在左侧导航栏中选择“集群列表 > 现有集群”。
- 3. 在需要取消纳管的集群对应的“操作”列中,单击“取消纳管”。
- 4. 如果是取消纳管FusionInsight 6.5.1.7物理机集群时,才需要执行该步骤,否则请忽略。
- 5. 使用PuTTY以 omm 用户登录OMS主管理节点,执行以下命令卸载knox和executor。
${BIGDATA_HOME}/om-server/om/inst/cloud/linkHCS/clearHCS.sh
图 6 取消纳管
说明:
• 取消纳管过程会重启MRS集群的OMS进程,如需进行下一轮的集群纳管操作,请提前确认FusionInsight Manager页面已经可以正常登录,且页面内容正常显示。
• 如果取消纳管失败,可使用 root 或 omm 用户登录待纳管集群主、备管理节点,查看日志文件“${BIGDATA_LOG_HOME}/controller/scriptlog/clearHCS.log”进行问题定位。
6 、 纳管集群功能
6.1 、 集群概览
在集群概览页面可进行集群名称修改 、 manager系统跳转登录 、监控指标定制管理、监控数据过滤显示、修改集群浮动I P 、 集群组件启停管理 、集群任务查询 等操作 , 具体操作如下图所示 :
图 7 集群概览
图 8 集群任务列表
6 . 2 、 节点管理
在节点管理页可对集群中的节点信息进行列表显示 , 并且支持根据不同属性排序功能 , 右上角集群组件管理 、 告警管理功能在所有 标签页均支持此功能
图 9 节点管理
6 . 3 、 组件管理
组件管理页支持客户端下载 、 组件启停管理 、组件信息显示、组件信息排序等功能
图 10 组件管理
点击组件服务名称可对组件进行组件重启、配置同步、监控指标定制 、服务配置修改、服务实例管理等功能,具体显示如下截图所示:
图 11 服务状态
图 12 实例管理
图 13 服务配置
6 . 4 、 告警管理
在告警管理页签支持告警 / 事件信息分页列表显示 、 告警 / 事件 信息查询排序 、告警 / 事件 信息导出、告警清除等功能
图 14 告警管理
除此之外还支持消息订阅规则,用户可根据各自业务订阅不同类型的告警信息
图 15 消息订阅规则
6 . 5 、 文件管理
用户可在文件管理标签页对 H DFS文件系统存储的文件信息进行查看、增删操作,具体展示如下图所示
图 16 文件管理
6 . 6 、 作业管理
作业管理标签页支持 添加、查看、删除作业功能,可创建 Spark、MapReduce、Flink、Hive类作业,支持作业信息分页展示
图 17 作业管理
6 . 7 、 租户管理
租户管理页签主要包含租户信息管理、资源池管理、资源分布策略设置、队列配置,如下图所示
图 18 租户管理
图 19 资源池
图 20 资源分配策略
图 21 队列配置
6 . 8 、标签管理
签管理页可 进行自定义添加、修改、删除标签,如下图所示
图 22 标签管理
7 、总结
物理机纳管是将客户存量的物理集群统一上移至 M RS管控面运维的解决方案,目前 F I测大部分运维功能已支持在 M RS进行统一运维管理。不支持的功能有节点扩缩容、重装主机、重装服务、实例等操作, 针对这些 场景需要进一步 探讨评审是否需要继续 扩展和完善, 以便 在未来能够更好的为客户创造价值。
- 点赞
- 收藏
- 关注作者
评论(0)