《从零开始学Hadoop大数据分析（视频教学版）》 —2.8.2 完全分布式安装

2.8.2  完全分布式安装

　　2.8.1节介绍的伪分布式是基于单个节点，而完全分布式是基于两个或两个以上节点完成Hadoop集群搭建。下面基于两个节点完成，一个节点的名字是master，另一个节点的名字是slave。关于搭建伪分布式和完全分布式，主要区别体现在core-site.xml和hdfs-site.xml的配置不一样，完全分布式会包含更多信息，下面会逐步说明。

　　1．修改core-site.xml文件

　　core-site.xml文件中，hadoop.tmp.dir是Hadoop文件系统依赖的基础配置，默认存放在/tmp/{$user}下。但是存放在/tmp下是不安全的，因为系统重启后文件有可能被删除，所以会指向另外的路径。

<configuration>

     <property>

         <name>fs.defaultFS</name>

         <value>hdfs://master:9000</value>

     </property>

     <property>

         <name>hadoop.tmp.dir</name>

         <value>/opt/software/hadoop-2.5.1</value>

     </property>

</configuration>

　　2．修改hdfs-site.xml文件

　　这里主要配置了Secondary NameNode的信息，其中slave是从节点机器名。读者目前可以先“照猫画虎”把系统搭起来，关于Secondary NameNode的介绍，后续会详细讲解。

<configuration>

     <property>

         <name>dfs.namenode.secondary.http-address</name>

         <value>slave:50090</value>

     </property>

     <property>

         <name>dfs.namenode.secondary.https-address</name>

         <value>slave:50091</value>

     </property>

</configuration>

　　3．配置masters和slaves

　　接着需要在配置文件目录/opt/software/hadoop-2.5.1/etc/hadoop/下生成masters和slaves文件，并在masters文件中写入master，在slaves文件中写入master和slave，其中slaves文件存放的是datanode，也就是数据节点，如图2.22和图2.23所示。

[root@master hadoop]# cd/opt/software/hadoop-2.5.1/etc/hadoop/

[root@master hadoop]# touch masters

[root@master hadoop]# touch slaves

[root@master hadoop]# vi masters

       图2.22  命令在masters文件中加入主节点 图2.23  slaves文件中可以添加master和slave节点

　　需要注意的是，这里的master和slave是节点名称，需要与/etc/hosts中的配置相映射。

　　4．相关文件的复制

　　在完全分布式的环境中，master和slave节点上的文件需要一致，因此这里需要将master节点中的文件复制到slave节点中，主要包括以下文件：

* Hadoop整个文件夹，如/opt/software/hadoop-2.5.1下面的所有文件。

* 系统配置文件，如.bash_profile文件，其中包含各类环境变量的配置。

* /etc/hosts文件。

　　操作步骤如下：

　　（1）复制Hadoop整个文件夹。

　　复制文件夹需要使用scp -r指令：

scp -r /opt/software/hadoop-2.5.1 root@192.168.109.201:/opt/software

　　（2）复制.bash_profile到salve的Home目录。

scp .bash_profile root@192.168.109.201:~  

　　（3）复制/etc/hosts文件，命令如下：

scp /etc/hosts root@192.168.109.201:/etc/hosts   

　　5．格式化HDFS

　　接下来通过格式化HDFS实现集群的初始化。

[root@master hadoop-2.5.1]# hdfs namenode –format

　　6．启动HDFS集群

　　启动命令如下：

[root@master hadoop -2.5.1]#sbin/start-dfs.sh

　　7．在浏览器访问http://ip:50070/，进行测试

　　测试命令如下：

http://192.168.109.200:50070/