随着大数据业务场景越来越复杂,数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现作业失败,或者重试的情况,运维或者开发人员需要有一个很直观的图展示了解作业之间的依赖,这时候DAG依赖流程图就是一个很好的展现形式。
由于一些开源的插件和当前的业务逻辑有一些冲突,华为云大数据技术工程师尝试从零开始,一点点实现业务的DAG图,并记录整个实现过程和总结。
目录
磨刀不误砍柴工,先给作业依赖图定好基调,阐明画DAG作业依赖图的背景、场景分析、实现目标,确定设计稿和技术选型。
介绍节点位置信息的处理:为了确定节点的位置信息,首先要给节点分层,分层的信息取决于节点之间的依赖关系。
确定好节点的相对位置后,就是基于节点来连线,本文提供几种连线的方案思路:直线方式、曲线方式、折线方式
在一些复杂场景中,节点层级较多,就需要优化节点间的连线,达到规避障碍节点的目的。
有关DAG作业依赖图的更多内容,华为云社区后续会持续更新。
评论 (0)
登录后可评论,请 登录 或 注册
评论您没有权限执行当前操作