Azkaban简单介绍:
Azkaban 具备诸多显著特点,具体如下:
其一,拥有丰富的用户界面。
它搭建了基于 Web 的交互式界面,使用户能够轻松便捷地进行工作流的创建、编辑以及执行操作。不仅如此,该界面还配备了完善且多样的监控与报警功能,为用户全方位掌握工作流状态提供有力支持。
其二,具备灵活的工作流定义能力。
借助 Azkaban,用户可依照自身实际需求灵活定制工作流,涵盖多种类型的任务,例如 Hadoop MapReduce、Spark、Hive、Pig、Shell、Java 等等。而且,它还支持对任务之间的依赖关系进行设置,同时也能实现任务的并行或者串行执行,满足多样化的业务流程需求。
其三,提供高效的任务调度功能。
Azkaban 能够依据任务优先级、资源限制等条件,智能化地对任务资源进行分配,进而保障任务调度与运行的高效性,助力提升整体工作效率。
其四,具备安全可靠的特性。
它支持多用户及多组权限控制,还采取了诸多安全措施,像 SSL/TLS 加密、Kerberos 认证等,全方位确保数据安全以及隐私保护,让用户在使用过程中无后顾之忧。
Azkaban部署:
1.本地源码打包之后 将exec-server 和web-server 下面的两个tar包 上传到服务器
2.将华为云官方网站中的gaussdb驱动包 放入指定的位置
3. 修改exec-server,和web-server conf目录下的azkaban.properties 将gaussdb的信息改成自己的
4. 启动 启动的时候需要注意 先启动exec-server 再启动webserver 启动web失败的话 可参考https://bbs.huaweicloud.com/blogs/441305 最后一个问题解决方案
启动命令 ./bin/start-web.sh 和 ./bin.start-exec.sh
Azkaban使用:
1. 创建一个project 数据成功保存到gaussdb
2. 编写job脚本 形成多任务流按序执行
3. 编写好脚本之后 将四个脚本 压缩为一个zip包
4. 将压缩的zip压缩包 上传到项目中
5.上传之后 信息保存到gaussdb
6.执行工作流 并且查看执行状态 以及工作流信息在gaussdb中的执行记录
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
评论(0)