《Spark数据分析：基于Python语言 》 —3.4　在YARN上运行Spark应用的部署模式

3.4　在YARN上运行Spark应用的部署模式

向YARN集群提交Spark应用时有两种部署模式：客户端模式和集群模式。现在分别介绍它们。

3.4.1　客户端模式

在客户端模式中，驱动器进程在提交应用的客户端机器上运行。本质上，它是不受集群管理的：如果驱动器的主机发生故障，那么应用也就失败了。交互式shell会话（pyspark、spark-shell等）和非交互式应用提交（spark-submit）都支持客户端模式。程序清单3.2展示了如何以客户端部署模式启动pyspark会话。

程序清单3.2　YARN集群的客户端部署模式

图3.7是在YARN集群上以客户端模式运行Spark应用的示意图。

图3.7　以YARN集群客户端模式运行的Spark应用

图3.7展示的步骤具体如下所述：

1）客户端把Spark应用提交到集群管理器（YARN的ResourceManager）上。驱动器进程、SparkSession对象和SparkContext对象都在客户端创建并运行。

2）ResourceManager为应用分配出一个ApplicationMaster（Spark的主进程）。

3）ApplicationMaster向ResourceManager请求容器，以作为执行器使用。当容器被分配出来时，对应的执行器就生成了。

4）驱动器进程位于客户端，它与执行器通信来安排Spark程序中任务和阶段的处理。驱动器进程把Spark应用的进度、结果以及状态返回给客户端。

客户端模式是最简单的部署模式。但是，这种模式缺乏大多数生产级应用所需的弹性。