大数据调度平台Airflow(四):Airflow WebUI操作介绍

举报
Lansonli 发表于 2022/03/22 23:55:35 2022/03/22
【摘要】 Airflow WebUI操作介绍 一、DAG DAG有对应的id,其id全局唯一,DAG是airflow的核心概念,任务装载到DAG中,封装成任务依赖链条,DAG决定这些任务的执行规则。 点击以上每个DAG对应的id可以直接进入对应“Graph View”视图,可以查看当前DAG任务执行顺序图。 以上“Runs”列与“Re...

Airflow WebUI操作介绍

一、DAG

DAG有对应的id,其id全局唯一,DAG是airflow的核心概念,任务装载到DAG中,封装成任务依赖链条,DAG决定这些任务的执行规则。

点击以上每个DAG对应的id可以直接进入对应“Graph View”视图,可以查看当前DAG任务执行顺序图。

以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态,鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后,出现以下选项:

  • Tree View

将DAG以树的形式表示,如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤,在生产环境下,经常通过这个页面查看每个任务执行情况。

点击以上每个有颜色的“小块”都可以看到task详情:

 

  • Graph View

此页面以图形方式呈现DAG有向无环图,对于理解DAG执行非常有帮助,不同颜色代表task执行的不同状态。

 点击任意一个task,都可以看到当前task执行情况:

  • Calendar View

日期视图,显示当前年每月每天任务执行情况。

  • Task Duration

此视图表示不同的task在过去每天执行的时长,可以通过每日执行时长对比,发现同一个task执行耗时情况。

  • Task Tries

此视图显示每个task重试次数情况。

  • Landing Times

Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间,得到的小时数,可以通过这个图看出任务每天执行耗时、延迟情况。

以上得到的“Landing Times”如下: 

  • Gantt

甘特图,可以通过甘特图来分析task执行持续时间和重叠情况,可以直观看出哪些task执行时间长。

  • Details

可以通过“Details”发现任务详细情况。

  • Code

Code页面主要显示当前DAG python代码编码,当前DAG如何运行以及任务依赖关系、执行成功失败做什么,都可以在代码中进行定义。

二、​​​​​​​Security

“Security”涉及到Airflow中用户、用户角色、用户状态、权限等配置。

三、​​​​​​​Browse

  • DAG Runs

显示所有DAG状态

  • Jobs

 显示Airflow中运行的DAG任务

  • Audit Logs

审计日志,查看所有DAG下面对应的task的日志,并且包含检索。

  • Task Instances

查看每个task实例执行情况。

  • Task Reschedules

Task 重新调度的实例情况。

  • SLA Misses

如果有一个或者多个实例未成功,则会发送报警电子邮件,此选项页面记录这些事件。

  • DAG Dependencies

查看DAG任务对应依赖关系。

四、​​​​​​​Admin

在Admin标签下可以定义Airflow变量、配置Airflow、配置外部连接等。

五、​​​​​​​Docs

Docs中是关于用户使用Airflow的一些官方使用说明文档连接。

 

 


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨ 

文章来源: lansonli.blog.csdn.net,作者:Lansonli,版权归原作者所有,如需转载,请联系作者。

原文链接:lansonli.blog.csdn.net/article/details/123650168

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。