《企业级大数据平台构建:架构与实现》——2.4.8 使用场景
【摘要】 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.4.8节,作者是朱凯。
2.4.8 使用场景
基于YARN扩展性强、可靠性强、支持多用户和支持多应用的特点,它非常适合于支撑企业内部构建统一的资源共享型大数据平台。借助YARN我们可以真正实现通过一套资源调度系统集成所有应用组件的单一大集群架构。
1.?Spark任务调度
Spark是一款分布式内存计算框架,在下一小节会详细介绍它。Spark可以将自身的任务调度部分委托YARN进行管理,从而实现集群资源高效整合与利用。
2.?MapReduce任务调度
同样的,MapReduce任务的整个生命周期都可以借助YARN进行管理,包括任务的分配、资源的调度,等等。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)