【技术补给站】第3期:学习大数据治理,手把手教你从零开始画DAG作业依赖图

举报
华为云社区精选 发表于 2020/12/31 10:48:27 2020/12/31
【摘要】 有关DAG作业依赖图的更多内容,华为云社区后续会持续更新。

3-技术补给站.png

随着大数据业务场景越来越复杂,数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现作业失败,或者重试的情况,运维或者开发人员需要有一个很直观的图展示了解作业之间的依赖,这时候DAG依赖流程图就是一个很好的展现形式。

由于一些开源的插件和当前的业务逻辑有一些冲突,华为云大数据技术工程师尝试从零开始,一点点实现业务的DAG图,并记录整个实现过程和总结。

目录


从零开始画自己的DAG作业依赖图(一)--前期准备

磨刀不误砍柴工,先给作业依赖图定好基调,阐明画DAG作业依赖图的背景、场景分析、实现目标,确定设计稿和技术选型。

从零开始画自己的DAG作业依赖图(二)--分层布局算法           

介绍节点位置信息的处理:为了确定节点的位置信息,首先要给节点分层,分层的信息取决于节点之间的依赖关系。

从零开始画自己的DAG作业依赖图(三)--节点连线简单版                

确定好节点的相对位置后,就是基于节点来连线,本文提供几种连线的方案思路:直线方式、曲线方式、折线方式

从零开始画自己的DAG作业依赖图(四)--节点连线优化版                

在一些复杂场景中,节点层级较多,就需要优化节点间的连线,达到规避障碍节点的目的。

本合集为《技术补给站》003期,欢迎大家持续关注。


技术补给站

聚焦热门的细分技术领域,带来系统且专业的干货解读,从而为开发者提供新技术知识的补给,助力技术能力更上一层楼。

【001】 中台规划:重磅发布!《IT 2.0时代,华为全场景驱动下中台规划实战全集》


【002】数仓调优:数仓性能调优必读:从系统级到SQL级,带你进阶为性能调优高手


【003】依赖图绘制:学习大数据治理,手把手教你从零开始画DAG作业依赖图


【004】音视频:音视频爆火的背后,藏着哪些技术奥秘?华为云视频云专家为你深度解读


【005】云原生:从架构和实践,剖析KubeEdge+Volcano技术硬实力


【006】LiteOS实操:带你步步深入LiteOS,掌握物联网开发秘笈


【007】 API应用:20个超实用API应用案例,开启API进阶之路(内附资料下载)

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200