萌新带你入门大数据之Hadoop源码编译

一、前期准备工作

1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译

2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可

hadoop-2.10.1-src.tar.gz
jdk-8u281-linux-x64.tar.gz
apache-ant-1.10.9-bin.tar.gz
apache-maven-3.6.3-bin.tar.gz
protobuf-2.5.0.tar.gz

二、jar包安装

注意：所有操作必须在root用户下完成

1、安装JDK并配置环境变量

1、复制JDK包到服务器software文件夹
2、解压到module文件夹：
	tar -zxvf jdk-8u281-linux-x64.tar.gz -C /opt/module
3、进入解压目录：cd /opt/module/jdk1.8.0_281
4、查看当前目录：pwd
5、环境变量配置：
	vim /etc/profile
6、追加：
	export JAVA_HOME=/opt/module/jdk1.8.0_281
	export PATH=$PATH:$JAVA_HOME/bin
7、使配置文件生效：
	source /etc/profile
8、配置验证：
	java -version

2、安装Maven并配置Maven环境变量

1、复制Maven包到服务器software文件夹
2、解压到module文件夹：
	tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /opt/module/
3、进入解压目录：cd /opt/module/apache-maven-3.6.3/
4、修改conf/settings.xml文件
	vim conf/settings.xml 
	mirrors节点下添加如下代码，使用阿里云仓库：
	<mirror>
      <id>aliyunmaven</id>
      <mirrorOf>*</mirrorOf>
      <name>阿里云公共仓库</name>
      <url>https://maven.aliyun.com/repository/public</url>
    </mirror>
5、查看当前目录：pwd
6、环境变量配置：
	vim /etc/profile
7、追加：
    ##MAVEN_HOME
    export MAVEN_HOME=/opt/module/apache-maven-3.6.3
    export PATH=$PATH:$MAVEN_HOME/bin
8、使配置文件生效：
	source /etc/profile
9、配置验证：
	mvn -version

3、安装ANT并配置ANT环境变量

1、复制ant包到服务器software文件夹
2、解压到module文件夹：
	tar -zxvf apache-ant-1.10.9-bin.tar.gz -C /opt/module/
3、进入解压目录：cd /opt/module/apache-ant-1.10.9/
4、查看当前目录：pwd
5、环境变量配置：
	vim /etc/profile
6、追加：
    ##ANT_HOME
    export ANT_HOME=/opt/module/apache-ant-1.10.9
    export PATH=$PATH:$ANT_HOME/bin
7、使配置文件生效：
	source /etc/profile
8、配置验证：
	ant -version

4、安装glibc-headers和g++

yum install glibc-headers
yum install gcc-c++

5、安装make和cmake

yum install make
yum install cmake

6、安装protobuf

解压protobuf，进入解压后protobuf主目录，/opt/module/protobuf-2.5.0/，然后相继执行命令

1、复制protobuf包到服务器software文件夹
2、解压到module文件夹：
	tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
3、进入解压目录：cd /opt/module/protobuf-2.5.0/
4、依次执行以下命令：
	./configure 
    make
	make check
	make install
	ldconfig
5、环境变量配置：
	vim /etc/profile
6、追加：
    ##LD_LIBRARY_PATH
    export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
    export PATH=$PATH:$LD_LIBRARY_PATH
7、使配置文件生效：
	source /etc/profile
8、配置验证：
	protoc --version

7、安装openssl

yum install openssl-devel

8、安装ncurses-devel库

yum install ncurses-devel

9、安装libtirpc

yum install libtirpc-devel

注：不加这个会卡到Apache Hadoop Pipes模块过不去

三、编译源码

1、解压源码到/opt/目录

tar -zxvf hadoop-2.10.1-src.tar.gz -C /opt/

2、进入到hadoop源码主目录

cd /opt/hadoop-2.10.1-src/

3、通过maven执行编译命令

mvn package -Pdist,native -DskipTests -Dtar

-Pdist,native：目的地
-DskipTests：跳过测试
-Dtar：打包类型

4、成功的64位hadoop包在/opt/hadoop-2.10.1-src/hadoop-dist/target下