《Spark数据分析:基于Python语言 》 —2.1.4 基于Mesos运行Spark
【摘要】 本节书摘来自华章计算机《Spark数据分析:基于Python语言 》 一书中第2章,第2.1.4节,作者是[澳] 杰夫瑞·艾文(Jeffrey Aven) ,王道远 译。
2.1.4 基于Mesos运行Spark
Apache Mesos是一个开源的集群管理器,由加州大学伯克利分校开发。它和Spark项目的创建颇有渊源。Mesos可以调度不同类型的应用,并且提供细粒度的资源共享,可以获得更高的集群利用率。程序清单2.4展示了一个向Mesos集群提交Spark应用的示例。
程序清单2.4 向Mesos集群提交Spark作业
本书主要关注Spark独立调度器和YARN这两种更常见的Spark调度器。不过,如果你对Mesos感兴趣,不妨从http://mesos.apache.org获取入门指南。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)