大数据Azkaban(二):Azkaban简单介绍
【摘要】 Azkaban简单介绍一、Azkaban特点Azkaban通过作业的依赖性解决业务调度顺序,并提供易于使用的UI界面来维护和跟踪工作流程,其主要特点如下:兼容任何版本的Hadoop;易于使用的Web UI界面;简单的Web和Http工作流上传;支持工作流定时调度;支持模块化和可插入; 支持身份验证和授权; 支持用户操作跟踪;提供有关失败和成功的电子邮件提醒;提供SLA警报和自动查杀功能。
Azkaban简单介绍
一、Azkaban特点
Azkaban通过作业的依赖性解决业务调度顺序,并提供易于使用的UI界面来维护和跟踪工作流程,其主要特点如下:
- 兼容任何版本的Hadoop;
- 易于使用的Web UI界面;
- 简单的Web和Http工作流上传;
- 支持工作流定时调度;
- 支持模块化和可插入;
- 支持身份验证和授权;
- 支持用户操作跟踪;
- 提供有关失败和成功的电子邮件提醒;
- 提供SLA警报和自动查杀功能。
二、Azkaban组成结构
Azkaban工作流管理器由三个核心部分组成,分别是Relational Database(关系型数据库MySQL)、AzkabanWebServer(Web服务器)、AzkabanExecutorServer(执行服务器)。三者关系具体如图所示。
三、Azkaban部署模式
1、solo-server ode(独立服务器模式)
在独立服务器模式下,使用的数据库是内嵌的H2,并且web server和executor server都在同一进程中运行,通常适用于小规模测试阶段。
2、two server mode(双服务器模式)
双服务器模式适用于比较复杂的生产环境,它的数据库会由具有主从设置的MySQL实例提供支持。其中,Web服务器和执行服务器应在不同的进程中运行,以便升级和维护过程中不影响用户。
3、distributed multiple-executor mode(分布式多执行器模式)
分布式多执行器模式适用于特别复杂的生产环境,理想情况下,Web服务器和执行服务器应在不同的主机中运行,以便升级和维护不影响用户。这种分布式多主机设置的模式为Azkaban带来了强大且可扩展的性能。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)