《Spark Streaming实时流式大数据处理实战》 ——2.2.2 本地集群模式

2.2.2  本地集群模式

　　除了本地模式之外，Spark还提供了一种用于本地测试和调试的模式，就是本地集群模式，该模式会利用当前的单一机器启动多个进程来模拟集群的分布式场景，相比local[N]模式中多个线程分享一个进程的资源，这种模式会更加接近真实的集群环境。通常我们会在部署到集群前，对程序做进一步的测试。

　　与local[N]模式类似，我们也可以利用运行时参数master local-cluster[x,y,z]或者调用SetMaster(＂local-cluster[x,y,z]＂)两种方式来启动集群模式。利用local-cluster[x,y,z]的形式分别对executor的数量x、每个executor的core数量y及内存空间大小z进行设置。