Hadoop学习之Hadoop集群的定制配置（一）

之前已经在七台物理机上以全分布模式安装了Hadoop集群，除了制动NameNode、JobTracker、DataNode、TaskTracker及相关的端口号外，并没有对集群配置做进一步的设定，都保留了默认值。而要想使Hadoop集群发挥更大的作用则需要根据实际情况对配置做修改，下面将介绍如何在Hadoop集群中对一些配置项做修改，由于运维Hadoop集群的经验尚浅难免有所遗漏或者不足。

Hadoop默认的配置文件为${HADOOP_HOME}\src\core\core-default.xml、${HADOOP_HOME}\src\hdfs\hdfs-default.xml、${HADOOP_HOME}\src\mapred\mapred-default.xml。而定制的配置文件则位为${HADOOP_HOME}\conf\core-site.xml、${HADOOP_HOME}\conf\hdfs-site.xml、${HADOOP_HOME}\conf\mapred-site.xml。在对定制配置文件不做修改的情况下，Hadoop使用默认配置文件的默认选项。另外还可以修改${HADOOP_HOME}\conf\hadoop-env.sh中的特定值来控制${HADOOP_HOME}\bin\hadoop脚本的执行行为。

Hadoop的定制配置主要包括两个方面，一是Hadoop守护进程的运行环境，二是Hadoop守护进程的配置参数。Hadoop守护进程分别为NameNode、JobTracker、DataNode、TaskTracker。

首先看看Hadoop守护进程运行环境的管理，可以通过修改${HADOOP_HOME}\conf\hadoop-env.sh中的特定值达到管理运行环境的目的。每台节点上的hadoop-env.sh都要正确指设置JAVA_HOME的值，多数情况下需要指定HADOOP_PID_DIR的值，该值为某个目录，其含义是只有运行Hadoop守护进程的用户可以在该目录中执行写操作，否则存在潜在的符号链接攻击。管

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/25236315