Azkaban入门案例

举报
liuzhiquan 发表于 2024/12/03 11:27:11 2024/12/03
【摘要】 Azkaban 是一个开源的基于 Web 的工作流调度系统,由 LinkedIn 公司开发并维护。它可以帮助用户在大规模数据处理中来管理和调度作业,提供了简单易用、高效可靠的工作流设计和调度功能。

Azkaban简单介绍:

Azkaban 具备诸多显著特点,具体如下:
其一,拥有丰富的用户界面。
它搭建了基于 Web 的交互式界面,使用户能够轻松便捷地进行工作流的创建、编辑以及执行操作。不仅如此,该界面还配备了完善且多样的监控与报警功能,为用户全方位掌握工作流状态提供有力支持。
其二,具备灵活的工作流定义能力
借助 Azkaban,用户可依照自身实际需求灵活定制工作流,涵盖多种类型的任务,例如 Hadoop MapReduce、Spark、Hive、Pig、Shell、Java 等等。而且,它还支持对任务之间的依赖关系进行设置,同时也能实现任务的并行或者串行执行,满足多样化的业务流程需求。
其三,提供高效的任务调度功能。
Azkaban 能够依据任务优先级、资源限制等条件,智能化地对任务资源进行分配,进而保障任务调度与运行的高效性,助力提升整体工作效率。
其四,具备安全可靠的特性。
它支持多用户及多组权限控制,还采取了诸多安全措施,像 SSL/TLS 加密、Kerberos 认证等,全方位确保数据安全以及隐私保护,让用户在使用过程中无后顾之忧。

Azkaban部署:

1.本地源码打包之后 将exec-server 和web-server 下面的两个tar包 上传到服务器

2.将华为云官方网站中的gaussdb驱动包 放入指定的位置
3. 修改exec-server,和web-server conf目录下的azkaban.properties 将gaussdb的信息改成自己的
4. 启动 启动的时候需要注意 先启动exec-server 再启动webserver 启动web失败的话 可参考https://bbs.huaweicloud.com/blogs/441305 最后一个问题解决方案
启动命令 ./bin/start-web.sh 和 ./bin.start-exec.sh
5. 启动之后 http://xxx.xx.xx.xxx:8081/ 登录 默认账号密码 为azkaban

Azkaban使用:

1. 创建一个project 数据成功保存到gaussdb

2. 编写job脚本 形成多任务流按序执行 


3. 编写好脚本之后 将四个脚本 压缩为一个zip包
4. 将压缩的zip压缩包 上传到项目中
5.上传之后 信息保存到gaussdb
6.执行工作流  并且查看执行状态 以及工作流信息在gaussdb中的执行记录

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。