《企业级大数据平台构建:架构与实现》—— 2.4.4 ApplicationMaster

举报
华章计算机 发表于 2019/06/06 16:13:11 2019/06/06
【摘要】 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.4.4节,作者是朱凯。


2.4.4 ApplicationMaster

每一个想要运行在YARN上的应用都必须有一个相应的ApplicationMaster实现,应用将内部的任务调度逻辑和监控都交由它们自己的ApplicationMaster实现类来处理。ApplicationMaster是YARN的一个创新设计,YARN通过这种机制将自己打造成了一个扩展性极强的通用资源调度框架,因为它允许用户开发自己的ApplicationMaster实现。

ApplicationMaster进程在运行的过程中主要负责与ResourceManager进行通信,以申请执行任务时所需要的资源,在申请到资源之后再进一步执行自身内部的调度任务。同时ApplicationMaster也负责监控自己运行的内部任务状态,在任务失败的时候重新为任务申请相应资源并重启任务。

ApplicationMaster通常作为一个应用的主进程,主要用来扮演拆分子任务、汇总结果数据这类的总体调度,比如Spark的Driver进程。而真正的执行程序业务逻辑的进程是在NodeManager进程上执行的。


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。