FusionInsight HD6.5.1软件安装教程-小白必读

举报
bigdata张凯翔 发表于 2020/09/01 14:41:22 2020/09/01
【摘要】 Fusionlnsight HD是华为开发的完全开放的大数据计算平台,基于开源社区软件进行功能增强,对外提供大容量的数据存储、查询和分析能力,可运行在任意标准的X86服务器或华为TaiShan服务器上。

Fusionlnsight HD是华为开发的完全开放的大数据计算平台,

基于开源社区软件进行功能增强,对外提供大容量的数据存储、

查询和分析能力,可运行在任意标准的X86服务器或华为TaiShan服务器上。


博客内容

本博客为您介绍:

1.如何使用《配置规划工具》一次性规划并部署多个部件。

2.如何在已有fusionInsigt  HD集群上添加新的部件包和服务。


安装完fusionInsigt Manager 查看集群

1.组网方案


用户可以根据实际业务需求自行配置方案


安装方案

使用以下安装方案进行演示:>管理平面和业务平面隔离组网。

>管理节点和控制节点合并部署,数据节点单独部署(7节点)。

》一次性规划并安装Manager、BASE、HD、Porter、Spark2x部件包及服务。

>在已有集群上添加服务。

》更多部件安装及部署场景请参考《Fusionlnsight HD产品文档》。


安装前准备

准备硬件

准备7个节点,配置参数:

节点 CPU 内存 磁盘 管理网卡 业务网卡
MN&CN 32核 256GB 6x600GB eth0 eth1
MN&CN 32核 256GB 6x600GB eth0 eth1
CN 32核 256GB 6x600GB eth0 eth1
DN
32核 256GB 6x600GB eth0 eth1
DN 32核 256GB 6x600GB eth0 eth1
DN 32核 256GB 6x600GB eth0 eth1
DN 32核 256GB 6x600GB eth0 eth1

准备相应的操作系统 

  • 硬件准备好之后,需要准备相应的操作系统

此处请注意,各节点操作的用户名和密码保持一致。


由此,我们可知道一台节点操作系统容量 需要600G。


需要下载以下6个软件安装包。

企业用户下载网址:

https://support.huawei.com/enterprise/zh/index.html

运营商用户下载网址:

https://support.huawei.com/enterprise/zh/index.html

putty下载地址:http://putty.cs.utah.edu/download.html

winscp下载地址:https://winscp.net/eng/download.php

配置规划工具获取地址:https://support.huawei.com/enterprise/zh/cloud-computing/fusioninsight-hd-pid-21110924/

二、规划数据(此数据需要和客户确定,也是安装集群的关键)

OMSServer:管理ip:配置为管理平面使用的IP地址

OMWebService业务ip 用户访问FusionInsight Manager可以配置成外部管理网络地址,可以配置成管理平面IP地址,此时可以与OMSServer浮动IP地址相同,可以配置成业务平面IP地址。

注意事项:

当和OMSServer配置为相同的浮动IP时,接口、掩码、网关也必须要一样;

当和OMSServer配置为不同的浮动IP时,接口、接口要配置为不同的名称;


三、安装流程

配置软件包:使用WinSCP工具将准备好的软件包上传到主管理节点。

操作命令

cd /opt/
tar -zxvf FusionInsight_Manager_6.5.1_RHEL.tar.gz
tar -zxvf FusionInsight_SetupTool_6.5.1.tar.gz

操作命令

cp FusionInsight_BASE_6.5.1_SLES.tar.gz FusionInsight_HD_6.5.1_SLES.tar.gz FusionInsight_Porter_6.5.1_SLES.tar.gz 
FusionInsight_Spark2X_6.5.1_SLES.tar.gz FusionInsight_Manager/software/packs

将软件包上传到host2目录下(使用WinScp工具将准备好的软件包上传到备管理节点)

操作命令

cd /opt/
tar -zxvf FusionInsight_Manager_6.5.1_RHEL.tar.gz
tar -zxvf FusionInsight_SetupTool_6.5.1.tar.gz

操作命令

cp FusionInsight_BASE_6.5.1_SLES.tar.gz FusionInsight_HD_6.5.1_SLES.tar.gz FusionInsight_Porter_6.5.1_SLES.tar.gz 
FusionInsight_Spark2X_6.5.1_SLES.tar.gz FusionInsight_Manager/software/packs

使用WinSCP工具将操作系统镜像文件上传到主管理节点。

操作命令

执行以下命令挂载镜像到media目录:

mount /opt/SLES-11-SP4-DVD-x86_64-GM-DVD1.iso /media/ -o loop

检查OS的编码格式"en_US.UTF-8"或"POSIX"。

生成配置文件

1.打开FusionInsight 6.5.1 配置规划工具,启用宏,语言选择"中文"后点击开始使用

自定义根据规划情况填写各项参数

1.自定义集群名称

2.安装模式新集群套装

3.选择合适的套餐

4.集群节点数量

5.选择主机对应的OS类型,否者会报错isntall dos2unix rpm failed,补齐rpm报错,找不到文件。可以参考手动补包方法。

preinstall会从挂载点补齐系统的rpm包。

6.选择服务器对应的芯片类型,是x86还是arm服务器?

否则会报错

image.png

配置lld规划工具上传到服务器对应的路径

主管理节点IP地址:软件解压地址
备管理节点IP地址:软件解压地址

192.168.10.1:/opt/FusionInsight_Manager/software,/opt/FusionInsight_SetupTool
192.168.10.2:/opt/FusionInsight_Manager/software,/opt/FusionInsight_SetupTool

2.在选择服务页签选择所需要安装的服务

3.在IP规划与进程部署页签 分别填写机架名称、管理IP、业务IP 注意粉红色部分不可以修改,函数会自动生成

4.在节点信息页签,根据提示命令,查询并填写节点配置信息。

cat /proc/cpuinfo |grep "processor"|sort -u|wc -l
free -g
parted -l 2>/dev/null | grep "Disk /dev/" | grep -iv "Disk /dev/mapper" | wc -l
parted -l 2>/dev/null | grep "Disk /dev/" | grep -iv "Disk /dev/mapper"

5.在浮动IP页签填写规划的浮动IP地址信息 接口 子网掩码  网关 (蓝色区域进行配置)

6.在磁盘配置页签可手动根据情况调整分区大小和磁盘数量 (一般在安装操作系统之前已经分好区了,在这儿复查一下,是否满足实际配置)

注意:管控数据节点一般配置raid1 元数据盘的数量是根据磁盘数量和所做raid来确定的。

粉红色部分不可修改


7.在集群参数配置页签 将集群参数建议保持默认

8.保持实例参数配置页签 实例参数建议保持默认

9.单击生成配置文件工具会自动生成各配置文件到本地路径。

在弹出的对话框中分别输入主备节点的用户名和密码

将配置文件上传到指定目录下。

4.配置并检查安装环境

cd /opt/FusionInsight_SetupTool/preinstall/
cat preinstall.ini


cd /opt/FusionInsight_SetupTool
./setuptool.sh precheck/checkNodes.Config

5.安装双机Manager

ip地址根据实际情况主管理节点

cd /opt/FusionInsight_Manager/software
cat install_oms/192.168.10.10.ini

以root用户登录主管理节点,查看配置文件是否上传成功。

image.png

//192.168.10.10.ini(举例:主管理节点)
[HA]
ha_mode=doublelocal_ip1=192.168.10.10local_ip2=
local_ip3=
local_ip4=peer_ip1=192.168.10.11peer_ip2=
peer_ip3=
peer_ip4=
ws_float_ip=10.10.100.201
ws_float_ip_interface=bond0:WS
ws_float_ip_netmask=255.255.0.0
ws_gateway=10.10.100.254
om_float_ip=192.168.10.200
om_float_ip_interface=bond1:OM
om_float_ip_netmask=255.255.255.0
om_gateway=192.168.10.254
ntp_server_ip=10.3.178.8,10.3.178.4
om_mediator_ip=192.168.10.254
sso_ip=10.3.179.3
sso_port=7444
bigdata_home=/opt/huawei/Bigdata
bigdata_data_home=/srv/BigData
cluster_nodes_scale=11
tls_protocol_min=tlsv1.1
kerberos_realm=HADOOP.COM
[/HA]
  1. 执行安装Manager命令,等待安装执行完毕。

IP地址自定义

./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.10.10.ini


登录备管理节点host2,进入指定目录

ip地址自定义

cd /opt/FusionInsight_Manager/software
cat install_oms/192.168.10.11.ini


./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.10.11.ini
  1. 连续输入两次y,并按回车键确认,等待安装完成。

6.安装集群

https://192.168.10.92:28443/web/index.html

填写旧密码

填写新密码

确认新密码

重新登录


选择模板安装

输入节点root用户密码,进行查找。





加载License


安装后检查




执行健康检查



手动添加服务












如果您有任何意见和建议请联系我,感谢大家阅读我的博客!

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。