Hadoop 集群搭建

一、实验简介

本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建，分布式文件系统 HDFS 提供了基础存储支持，可以存储非常大的文件，需要存储的数据被 HDFS 切割成块分布到集群环境当中进行存储，具有高容错、高可靠性、高可扩展性、高获得性、高吞吐率的特点。
实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。实验基本步骤包含：购买并配置 ECS；购买 OBS 并获取 AK、SK 信息；搭建 Hadoop 集群。

二、实验内容

购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，搭建 Hadoop 集群。

三、其他参数

CPU 型号与参数：
Intel® Core™ i5-10210U CPU @ 1.60GHz 2.11 GHz
内存容量与带宽：8.00 GB 866.7Mbps

四、实验步骤及结果分析

4.1 购买华为云 ECS

4.1购买华为云ECS
(1) 点击购买弹性云服务器
(2) 选择参数信息
(3) 配置网络
(4) 设置高级配置
(5) 选择4个节点,购买成功，返回列表可以看到有4个节点。

4.2 购买OBS

4.2.1购买桶

(1) 点击右上角创建桶
(2) 配置参数信息
(3) 桶名称为bigdatapro-obsgx，返回后可以看到桶已经创建成功

4.2.2创建文件并行系统

(1) 配置参数信息
(2) 文件系统名称为bigdatagx，返回后可以看到并行文件系统创建成功

4.2.3 获取Endpoint

点击进入创建的桶，找到概览，可以看到Endpoint，Endpoint 为：obs.cn-north-4.myhuaweicloud.com

4.2.4 获取AK/SK

(1) 点击页面右上角“用户名”，下拉选择“我的凭证”，点击“访问秘钥”
(2) 点击新增访问秘钥，根据提示进行操作。操作完成后，得到文件“credentials.csv”，打开即可得到AK/SK

4.3 搭建集群准备

4.3.1登录mobaxterm

因为mobaxterm上传文件比较方便，所以使用mobaxterm进行本次实验。进入mobaxterm官网，选择左边Download now进入，绿色为安装版，即需要安装。蓝色为便携版，解压后双击exe文件即可运行。
下载便携版，打开后点击左上角Session，选择SS和连接。输入ECS中的弹性地址和用户名，然后登录，四个节点均是如此。

4.3.2 文件上传

从网络下载的安装包默认存放位置为/root，打开后目录也为/root，直接点击左侧上传按钮，选择下发的文件进行上传。上传成功后可以看到三个文件。

4.3.3 配置/etc/hosts文件

查看ECS列表各节点私有IP，记录如下：
192.168.0.165 node-0001
192.168.0.92 node-0002
192.168.0.247 node-0003
192.168.0.148 node-0004
各节点执行vim /etc/hosts，添加内容，保存退出。

4.3.3配置节点互信

(1) 各节点执行命令ssh-keygen -t rsa，执行后连续回车，生成/root/.ssh/id_rsa.pub文件。
(2) 各节点执行：cat /root/.ssh/id_rsa.pub，将输出的内容保存，然后各节点执行：vim /root/.ssh/authorized_keys，将内容全部复制进去，保存退出。
(3) 各节点执行：ssh node-0001~node-0004，选择yes后，确保能够无密码跳转到目标节点。
可以看到执行ssh node-0002可以跳转到node-0002，再执行ssh node-0003可以跳转到node-0003，执行ssh node-0001跳转回来。

4.3.4 确认JDK是否安装

各节点执行命令：java -version

4.4搭建Hadoop集群

4.4.1搭建Hadoop集群

各节点执行：
mkdir -p /home/modules/data/buf
mkdir -p /home/nm/localdir
进入/root目录，拷贝hadoop-2.8.3.tar.gz到/home/modules/目录下，然后进入/home/modules/目录，解压hadoop安装包
（1）执行命令:
vim /home/modules/hadoop-2.8.3/etc/hadoop/core-site.xml
配置文件，输入参数配置内容，其中fs.obs.access.key、fs.obs.secret.key在credentials.csv文件中，fs.obs.endpoint之前已经复制过。
（2）配置hdfs-site.xml
node-0001节点执行下列命令：
vim /home/modules/hadoop-2.8.3/etc/hadoop/hdfs-site.xml
（3）配置yarn-site.xml
node-0001节点执行下列命令：
vim /home/modules/hadoop-2.8.3/etc/hadoop/yarn-site.xml
（4）配置mapred-site.xml
node-0001节点执行下列命令：
cd /home/modules/hadoop-2.8.3/etc/hadoop/
mv mapred-site.xml.template mapred-site.xml
vim /home/modules/hadoop-2.8.3/etc/hadoop/mapred-site.xml
（5）配置slaves
node-0001节点执行下列命令：
vim /home/modules/hadoop-2.8.3/etc/hadoop/slaves
（6）配置hadoop环境变量
node-0001节点执行下列命令：
vim /home/modules/hadoop-2.8.3/etc/hadoop/hadoop-env.sh
（7）配置jar包
（8）分发hadoop包到各节点
node-0001下执行下列命令：
分发hadoop包到node2：
scp -r /home/modules/hadoop-2.8.3/ root@node-0002:/home/modules/
分发hadoop包到node3
scp -r /home/modules/hadoop-2.8.3/ root@node-0003:/home/modules/
分发hadoop包到node4
scp -r /home/modules/hadoop-2.8.3/ root@node-0004:/home/modules/
（9）配置环境变量
各节点执行：vim /etc/profile
保存退出后各节点执行：source /etc/profile 使配置生效
（10）namenode初始化
node-0001节点执行namenode初始化
执行下列命令：hdfs namenode -format，初始化成功后，启动hdfs：
start-dfs.sh
（11）执行hdfs命令，查看文件

4.4.2测试与OBS互联

（1）进入OBS桶，选择“对象”上传文件
点击桶名称，选择对象->上传对象->添加文件->选择文件，点击上传
（2）执行hdfs命令查看OBS文件，Hadoop集群与OBS互联成功。