Ambari集群部署

# 新建用户工作组
groupadd hadoop

# 新建用户同时增加用户组
useradd -g hadoop hadoop

# 为hadoop用户设置密码
passwd hadoop

# 正确密码
ambari2021

# 编辑 etc/sudoers文件
visudo

# 增加如下配置
Hadoop ALL=(ALL) NOPASSWD:ALL

Hadoop ALL=(ALL) NOPASSWD:ALL

参数解释：

第一个字段Hadoop 表示能使用sudo命令的用户

第二个字段ALL=(ALL) 第一个ALL表示允许使用sudo的主机，第二个ALL表示使用sudo后以什么身份来执行命令

第三个字段NOPASSWD:ALL 滴一个NOPASSWD表示使用sudo提升权限的时候不需要使用密码，第二个ALL表示允许使用sudo执行的命令

# 检查当前hostname
hostname -f

# 永久修改hostname
sudo hostnamectl set-hostname ambari-01

# 配置hosts文件
sudo vi /etc/hosts

# 添加如下配置 注意自带的两行不要删除 此外公司服务器配置内网IP
192.168.186.164 ambari-01

# 禁用防火墙，避免多个节点之间收到影响(生产环境一般用运维专业人员来做端口策略，并不能完全关闭防火墙)
# 禁止防火墙开机启动
sudo systemctl disable firewalld

# 关闭防火墙
sudo systemctl stop firewalld

# 查看防火墙状态
sudo systemctl status firewalld

# 检查SELinux状态(只要返回的不是disabled那么说明SELinux是开着的，则需要关闭)
getenforce

# 临时禁用
sudo setenforce 0

# 永久禁用
sudo vi /etc/selinux/config
# 将SELINUX 改为 SELINUX=disabled

# 使用hadoop用户登录 （切换到根目录）
su - hadoop

# 执行命令生成公、私钥(三次直接回车)
ssh-keygen

# 将公钥拷贝到认证文件
cd .ssh/
cat id_rsa.pub >> authorized_keys

# 文件授权
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

# 执行ambari-01 自己到自己的 SSH 测试免密登录
ssh ambari-01

# 输入 yes 回车
yes

# 上传jdk8稳定版压缩包到服务器目录&解压
sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/

# 链接jdk - jdk1.8.0_231
sudo ln -s /usr/local/jdk1.8.0_231/ /usr/local/jdk

# 移除安装包
rm -rf jdk-8u231-linux-x64.tar.gz

# 配置java环境变量
sudo vi /etc/profile

# 在配置文件末尾加上如下配置
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib/:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

# 使环境变量生效
source /etc/profile

# 查看java版本
java -version

# 安装Apache
sudo yum -y install httpd

# 将Apache设置为开机启动
sudo systemctl enable httpd

# 启动Apache
sudo systemctl start httpd

# 通过FTP上传RPM安装包到服务器上
# 移动安装包到 /var/www/html/目录下
sudo mv ambari-2.7.4.0-centos7.tar.gz /var/www/html/
sudo mv HDP-3.1.4.0-centos7-rpm.tar.gz /var/www/html/
sudo mv HDP-GPL-3.1.4.0-centos7-gpl.tar.gz /var/www/html/
sudo mv HDP-UTILS-1.1.0.22-centos7.tar.gz /var/www/html/

# 解压缩
sudo tar -zxvf ambari-2.7.4.0-centos7.tar.gz
sudo tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz
sudo tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz
sudo tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz

# 移除压缩包
sudo rm -rf ambari-2.7.4.0-centos7.tar.gz
sudo rm -rf HDP-3.1.4.0-centos7-rpm.tar.gz
sudo rm -rf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz
sudo rm -rf HDP-UTILS-1.1.0.22-centos7.tar.gz

# 更改目录权限
sudo chmod -R ugo+rX /var/www/html/

# 进入如下目录
cd /etc/yum.repos.d/
# 创建ambari.repo文件 & 写入如下# #包括的内容
sudo vi ambari.repo
##############################################
# 仓库名字
[ambari-repo]
# yum 源描述
name=ambari
# 指向yum源地址
baseurl=http://ambari-01/ambari/centos7/2.7.4.0-118/
# 关闭下载RPM的jpg校验
gpgcheck=0
# 组可用
enabled=1
##############################################

# 查看yum源配置是否生效 & 看到红框内容则成功
yum repolist

# 安装mysql的yum仓库
sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
rpm -ivh mysql57-community-release-el7-9.noarch.rpm

# 安装mysql(必须进入到 /etc/yum.repos.d/目录后再执行以下脚本)
yum install mysql-server

# 设置开机启动
sudo systemctl enable mysqld

# 启动MySQL
sudo systemctl start mysqld

# 查看MySQL的启动状态
sudo systemctl status mysqld

# 查看root临时密码(临时密码每次都是随机生成的) (&fZPOuLl19i
sudo grep 'temporary password' /var/log/mysqld.log

# 使用临时密码登录
mysql -uroot -p

# MySQL常用密码参数
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;

# 修改密码（'root'@'%' -- 允许远程连接）
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'PWD@123456' WITH GRANT OPTION;
ALTER USER 'root'@'%' IDENTIFIED BY 'PWD@123456';

# 退出MySQL
Exit

# 上传驱动包mysql-connector-java-8.0.18.jar 到服务器/usr/share/java目录
sudo mkdir -p /usr/share/java

sudo yum -y install ambari-server

# 登录MySQL
mysql -uroot -pPWD@123456

# 执行如下命令 创建ambari用户并授权
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
create database ambari;
CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata';
GRANT ALL ON ambari.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

# 执行脚本
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

# 退出
exit;

# 配置
sudo ambari-server setup

# 使用默认账户 root 输入 n
# Customize user account for ambari-server daemon [y/n] (n)?
n

# 使用自带jdk
2

# 输入JAVA_HOME
/usr/local/jdk

# 安装GPL
y

# 数据库配置
y

# 选择MySQL & 一路回车（mysql安装在本机，前面设置的数据库账户ambari和密码bigdata）
3

# 输入驱动路径
/usr/share/java/mysql-connector-java-8.0.18.jar

# 远程连接
y

# 启动AmbariServer
sudo ambari-server start

遇到的错误：不能启动服务“REASON: Server not yet listening on http port 8080 after 50 seconds.Exiting.”

原因：由于本地的公网 ip改变或者不稳定导致的链接不上。

解决：修改/etc/hosts，将 hostname公网 IP映射改为内网映射。

http://192.168.186.164:8080/

账户: admin

密码: admin

原因：

1.防火墙没有关闭（查看防火墙：sudo systemctl status firewalld）

2.云服务8080端口没有对外开放

解决：

1.关闭防火墙：sudo systemctl stop firewalld

2.开放服务器8080端口

# 添加hadoop 用户 赋予sudo权限 # 配置hostname # 关闭SELinux、关闭防火墙 # 生成私钥公钥 # 配置免密登录 我们所谓的免密就是拿集群中的一台机器作为管理节点，然后让他可以 ssh免密码到其他节 点执行命令，这对我们维护一个多节点的集群非常有意义。我们当然以 ambari-01为管理节点， 所以要实现 ambari-01到其他节点的免密。 拿到 ambari-01的公钥： 把 ambari-01的公钥添加到 ambari02和 ambari-03的~/.ssh/authorized_keys文件中 然后 ambari-01到 ambari-02、ambari-03分别连接一次： ssh ambari-02 ssh ambari-03 如果第一次需要输入 yes第二次不需要则 ssh免密就做好了，注意我们只做了 ambari-01到其他节点的 ssh免密。

ambari-01 Chrony Server

ambari-02 Chrony Client

ambari-03 Chrony Client

# 安装 chrony

sudo yum -y install chrony

# 1、服务状态：

# 启动chrony服务

systemctl start chronyd.service

# 设置开机同步时间

systemctl enable chronyd.service

# 查看服务状态

systemctl status chronyd.service

# 直接关闭防火墙

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

# 不关闭防火墙、但允许NTP服务

# 因NTP使用123/UDP端口协议，所以允许NTP服务即可

firewall-cmd --add-service=ntp --permanent

firewall-cmd --reload

# 1、服务端配置

# 配置文件修改

vi /etc/chrony.conf

#注释掉以下四行(避免去外部 chrony-server同步时间)

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

# 新增配置 指定chrony-server为 ambari-01

server 127.127.1.1 iburst

# Allow NTP client access from local network，配置允许访问的客户端列表，支持CIDR，例如：

allow 192.168.0.0/16

# Serve time even if not synchronized to any NTP server.，打开注释即可，即：

local stratum 10

# 重启下服务端chrony服务

systemctl restart chronyd.service

# 2、客户端配置

# 配置文件修改

vim /etc/chrony.conf

# 修改server即可，删掉其他的，添加要同步时间的源服务器ip，格式如下：server ambari-01 iburst

server x.x.x.x iburst

# 重启下客户端chrony服务

systemctl restart chronyd.service

# 客户端使用

chronyc sources -v