《Spark数据分析：基于Python语言 》 —3.3　在YARN上运行Spark应用

3.3　在YARN上运行Spark应用

如前所述，Hadoop是Spark常用的部署平台。一些业界专家认为Spark很快会取代MapReduce成为Hadoop上首选的应用处理平台。YARN集群中的Spark应用也有同样的运行时架构，不过在实现上略有不同。

3.3.1　ResourceManager作为集群管理器

与独立集群调度器不同的是，YARN集群中的集群管理器是YARN的ResourceManager组件。ResourceManager监控集群中所有节点的资源用量和剩余量。客户端向YARN的Resource-

Manager提交Spark应用。ResourceManager为应用分配它的第一个容器，这个特殊的容器就是ApplicationMaster。