一、本次实践介绍

1.1 实践环境简介

1.本次实践环境使用华为KooLabs云实验平台。
2.本次实践基于华为云ECS弹性云服务器。
3.本次使用操作系统为CentOS系统。

1.2 本次实践目的

1.熟练使用华为云ECS弹性云服务器；
2.熟练使用Linux的基本命令；
3.学会在centos系统下部署快速部署Hadoop 环境。

二、Hadoop介绍

2.1 Hadoop简介

Hadoop是一个开源的分布式计算框架，可以处理大规模的数据集并行计算，其模型基于MapReduce算法和分布式文件系统HDFS实现，能够在大规模集群中运行，具备高可靠性、高可扩展性、高效性和高容错性等特点。

2.2 Hadoop核心组件

• Hadoop分布式文件系统（HDFS）：用于存储大数据集，提供高可靠性、高可用性的数据存储解决方案。

• MapReduce：用于分布式计算的编程模型，实现了海量数据的并行处理和分布式计算。

• YARN（Yet Another Resource Negotiator）：Hadoop的资源管理器，用于分配集群中的计算资源。

三、环境准备工作

3.1 预置环境

1.开始实验之前请点击手册上方“预置实验环境”按钮。
2.预置实验环境约等待【2分钟】后预置成功。
3.环境预置成功会生成名称为ecs-name的弹性云服务器ECS、并创建好配置相关的VPC。

3.2 查看环境信息

预置的 ECS 资源用户、密码信息可点击预置环境信息查看。

3.3 登录华为云

进入【实验操作桌面】，打开Chrome浏览器，首次可自动登录并进入华为云控制台页面。
如果没有自动登录，选择【IAM用户登录】模式，于登录对话框中输入系统为您分配的华为云实验账号和密码登录华为云。

3.4 检查弹性云服务器状态

检查实验环境预装的ECS弹性云服务器状态。

3.5 ssh登录弹性云服务器

• 复制ECS的弹性公网IP地址

• 打开桌面的Xfce终端，输入命令连接远程服务器，将EIP替换为复制的弹性公网IP地址。

ssh root@EIP

3.6 检查操作系统版本

检查弹性云服务器的操作系统版本

[root@ecs-name ~]# cat /etc/redhat-release 
CentOS Linux release 7.6.1810 (Core) 

四、配置jdk

4.1 下载JDK1.8安装包

下载JDK1.8安装包

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

4.2 解压下载的JDK1.8安装包

解压下载的JDK1.8安装包

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

4.3 移动并重命名JDK包

移动并重命名JDK包

mv java-se-8u41-ri/ /usr/java8

4.4 配置Java环境变量

配置Java环境变量

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

4.5 检查java安装版本

通过检查java版本判断是否java环境配置成功。

java -version

五、安装 Hadoop

5.1 下载Hadoop安装包

下载Hadoop安装包

wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

5.2 解压Hadoop

将下载的Hadoop安装包解压至/opt/hadoop。

tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

5.3 配置Hadoop环境变量

配置Hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

5.4 修改配置文件

修改配置文件yarn-env.sh和hadoop-env.sh

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.5 测试Hadoop是否安装成功

测试Hadoop是否安装成功

hadoop version

六、配置Hadoop

6.1 修改Hadoop配置文件

• 修改Hadoop配置文件 core-site.xml

vim /opt/hadoop/etc/hadoop/core-site.xml

输入i进入编辑模式，在<configuration></configuration>节点内插入如下内容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

• 修改Hadoop配置文件 hdfs-site.xml

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

输入i进入编辑模式，在<configuration></configuration>节点内插入如下内容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

6.2 配置SSH免密登录

• 创建公钥和私钥

ssh-keygen -t rsa

• 将公钥添加到authorized_keys文件中

cd .ssh
cat id_rsa.pub >> authorized_keys

七、启动Hadoop

7.1 初始化 namenode

初始化 namenode

hadoop namenode -format

7.2 启动Hadoop

使用以下命令启动Hadoop

start-dfs.sh

如出现待确认问题，请输入yes

start-yarn.sh

7.3 查看启动进程

启动成功后，查看已成功启动的进程

jps

八、测试hadoop环境

打开浏览器访问http://<ECS公网地址>:8088和http://<ECS公网地址>:50070，显示如下界面则表示Hadoop伪分布式环境搭建完成。