《Spark Streaming实时流式大数据处理实战》 ——2.2.4 Spark On Yarn模式

2.2.4  Spark On Yarn模式

　　Spark在0.6.0版本之后，添加了对Yarn模式的支持。通常，当我们已经部署了Hadoop集群时，可以将Spark统一在Yarn模式下进行资源分配管理，有利于资源上的整合与共享。

　　Spark在Yarn模式上分为Yarn client模式和Yarn cluster模式，两者的主要区别是，在Yarn cluster模式中，应用程序都作为Yarn框架所需要的主应用程序（Application Master），并通过Yarn资源管理器（Yarn ResourceManager）为其分配的一个随机节点上运行。而当我们需要本地交互时，可以利用Yarn client模式，该模型下Spark上下文（Spark-Context）会运行在本地，如Spark Shell和Shark等。因为公司内部大多数都会部署Hadoop集群，利用HDFS和Hive等进行存储管理，所以公司内部部署的公共Spark集群大多会依托于该模式。