《Spark数据分析：基于Python语言 》 —2.4　在Linux或Mac OS X上安装Spark

2.4　在Linux或Mac OS X上安装Spark

Linux是最常用也是最简单的用于安装Spark的平台，Mac OS X次之。由于这两种平台都属于类UNIX系统，并且有类似的shell环境，所以在这两种平台上的安装步骤是类似的。下面的练习演示了如何在Linux的Ubuntu发行版上安装Spark，其实在其他Linux发行版或者Mac OS X上的安装步骤也是类似的（只是包管理器软件有所不同，比如yum）。按照如下步骤在Linux上安装Spark：

1）安装Java。一般安装JDK（Java Development Kit，Java开发工具包），它包含JRE（Java运行时引擎（Java Runtime Engine））以及用于构建和管理Java或Scala应用的工具。具体做法如下：

在终端会话中运行java -version来测试安装结果。如果安装成功，你应该会看到如下所示的输出：

在Mac OS里，安装Java的命令如下所示：

2）获取Spark。使用wget和适当的URL来下载Spark的发布版本。具体的下载地址可以在http://spark.apache.org/downloads.html上找到，如图2.2所示。虽然当你读到这里的时候，很有可能Spark已经发布了更新的版本，下面的例子展示的是2.2.0版本的下载。

3）解压Spark包。解压Spark正式版本包到一个共享目录中，比如/opt/spark：

4）设置必要的环境变量。设置环境变量SPARK_HOME，并更新环境变量PATH，具体如下所示：

你可能希望这些设置长期有效（比如在Ubuntu实例上可以使用/etc/environment文件）。

5）测试安装结果。以本地模式，运行Spark内置的圆周率估算例程，测试Spark安装情况，如下所示：

如果安装成功，你会在一大堆信息型的日志消息（本章稍后会介绍如何减少这些日志输出的量）的输出中找到如下输出：

pyspark和spark-shell是Spark提供的交互式shell，你可以在终端里也对它们进行测试。

恭喜！你已经在Linux上成功地安装并测试了Spark。是不是很简单？