《从零开始学Hadoop大数据分析（视频教学版）》 —2.8 Hadoop分布式安装

2.8  Hadoop分布式安装

　　Hadoop安装可以是单节点、伪分布式和完全分布式。这里我们着重介绍伪分布式和完全分布式。伪分布式是在一台机器上模拟分布式，主要用于测试；而完全分布式是由两个及两个以上的节点组建的集群，是真正的分布式。下面介绍伪分布式和完全分布式的安装过程。

2.8.1  伪分布式安装

　　（1）进入Hadoop的配置文件目录。

cd /opt/software/hadoop-2.5.1/etc/hadoop

　　（2）修改core-site.xml文件。

　　core-site.xml文件主要配置了访问Hadoop集群的主要信息，其中master代表主机名称，也可以使用IP替换，9000代表端口。外部通过配置的hdfs://master:9000信息，就可以找到Hadoop集群。

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

</configuration>

　　（3）修改hdfs-site.xml配置。

　　hdfs-site.xml配置文件中配置了HDFS的相关信息，其中dfs.replication代表副本数，这里设置为1。

<configuration>   

     <property>           

　　　　　<name>dfs.replication</name>           

　　　　　<value>1</value>       

     </property> 

</configuration>

　　（4）格式化HDFS。

　　格式化HDFS的作用是初始化集群，基本配置完成后，就可以通过hdfs namenode -format命令初始化集群了。

[root@master hadoop -2.5.1]#hdfs namenode -format

　　格式化完成后，会输出以下信息：

8/04/2716:20:20INFOcommon.Storage:Storagedirectory/tmp/hadoop-root/dfs/

namehasbeensuccessfullyformatted.

18/04/2716:20:20INFOnamenode.FSImageFormatProtobuf:Savingimagefile/tmp/

hadoop-root/dfs/name/current/fsimage.ckpt_0000000000000000000 using no

compression

18/04/2716:20:20INFOnamenode.FSImageFormatProtobuf:Imagefile/tmp/hadoop

-root/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes

saved in 0 seconds.

18/04/27 16:20:20 INFO namenode.NNStorageRetentionManager: Going to

retain 1 images withtxid >=0

18/04/27 16:20:20 INFO util.ExitUtil: Exiting with status 0

18/04/27 16:20:20 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at master/172.31.228.188

************************************************************/

　　从信息中可以看到/name has been successfully formatted，代表格式化成功。

　　（5）启动HDFS。

[root@master hadoop-2.5.1]#start-dfs.sh  

　　然后访问网页http://192.168.109.200:50070/，查看是否安装成功，如图2.21所示。出现下图显示的页面则代表伪分布式集群搭建成功。

图2.21  访问网页