Windows10 Hadoop3.3.0源码编译

第一节、前期准备工作

1、环境准备

hadoop-3.3.0-src.tar.gz
jdk-8u261-windows-x64.exe
apache-ant-1.10.9-bin.zip
apache-maven-3.6.3-bin.zip
protoc-3.7.1-win64.zip
cmake-3.19.4-win64-x64.zip
GetGnuWin32-0.6.3.exe
Git-2.30.0.2-64-bit.exe
Visual Studio 2010 Professional
zlib1211.zip

第二节、环境安装

1、安装JDK并配置环境变量

1、安装jdk-8u261-windows-x64.exe
2、添加环境变量：
	JAVA_HOME=C:\Program Files\Java\jdk1.8.0_261
3、PATH中追加：
	%JAVA_HOME%\bin
4、cmd验证：
	java -version
5、结果：
    java version "1.8.0_261"
    Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
    Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)

2、安装Maven并配置Maven环境变量

1、解压apache-maven-3.6.3-bin.zip到本地文件夹（随意）
2、添加环境变量：
	M2_HOME=C:\Software\Installed\apache-maven-3.6.3
3、PATH中追加：
	%M2_HOME%\bin
4、cmd验证：
	mvn -version
5、结果：
    Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
    Maven home: C:\Software\Installed\apache-maven-3.6.3\bin\..
    Java version: 1.8.0_261, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_261\jre
    Default locale: zh_CN, platform encoding: GBK
    OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
6、修改C:\Software\Installed\apache-maven-3.6.3\conf\settings.xml文件
	mirrors节点下添加如下代码，使用阿里云仓库，默认仓库比较慢：
	<mirror>
      <id>aliyunmaven</id>
      <mirrorOf>*</mirrorOf>
      <name>阿里云公共仓库</name>
      <url>https://maven.aliyun.com/repository/public</url>
    </mirror>

3、安装ANT并配置ANT环境变量

1、解压apache-ant-1.10.9-bin.zip到本地文件夹（随意）
2、添加环境变量：
	ANT_HOME=C:\Software\Installed\apache-ant-1.10.9
3、PATH中追加：
	%ANT_HOME%\bin
4、cmd验证：
	ant -version
5、结果：
	Apache Ant(TM) version 1.10.9 compiled on September 27 2020

4、安装ProtocolBuffer并配置环境变量

1、解压protoc-3.7.1-win64.zip到本地文件夹（随意）
2、PATH中追加：
	C:\Software\Installed\protoc-3.7.1-win64\bin
3、cmd验证：
	protoc --version
4、结果：
	libprotoc 3.7.1

5、安装CMake并配置环境变量

1、解压cmake-3.19.4-win64-x64.zip到本地文件夹（随意）
2、添加环境变量：
	CMAKE_HOME=C:\Software\Installed\cmake-3.19.4-win64-x64
3、PATH中追加：
	%CMAKE_HOME%\bin
4、cmd验证：
	cmake --version
5、结果：
    cmake version 3.19.4

    CMake suite maintained and supported by Kitware (kitware.com/cmake).

6、安装Visual Studio

直接傻瓜式安装Visual Studio 2010 Professional

7、安装GetGnuWin32并配置环境变量

直接傻瓜式安装GetGnuWin32-0.6.3.exe

安装完成后将安装路径配置到环境变量PATH中

8、安装Zlib库

1、解压zlib1211.zip到本地文件夹（随意）
2、使用VS2010 对zlib源码进行编译
3、将编译后生成的zlibwapid.dll、zlibwapid.lib、zlibstat.lib拷贝至独立文件夹中，将文件夹路径配置到环境变量PATH中

9、安装Git

直接运行Git-2.30.0.2-64-bit.exe，傻瓜式安装即可

10、其他配置

1、添加如下环境变量：
	Platform=x64
	VCTargetsPath=C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0
	MSBUILD_HOME=C:\Program Files (x86)\MSBuild
2、PATH中追加：
	%MSBUILD_HOME%

第三节、编译源码

1、解压源码到本地目录（路径所有文件夹不能包含中文）

C:\Software\hadoop-3.3.0

2、进入到hadoop源码主目录

cmd中进入以下路径：
C:\Software\hadoop-3.3.0

3、通过maven执行编译命令

一般指令如下所示：
mvn clean package -Pdist,native-win -DskipTests -Dtar

指令中加入 -Dmaven.javadoc.skip=true 参数，可以剔除指令文档的编译，如果使用的是JDK1.8，那么必须加入此参数才能编译通过：
mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true

编译成功大概需要半小时，机器好的话可能更快，如果省略说明文档的编译也会提高速度， 
编译成功之后的目录为 C:\Software\hadoop-3.3.0\hadoop-dist\target

参数说明：
-Pdist,native：目的地
-DskipTests：跳过测试
-Dtar：打包类型