基于模型设计的数据开发作业自动创建

举报
玄米茶 发表于 2020/09/25 11:12:39 2020/09/25
【摘要】 模型设计完成后,如何生成端到端全流程的数据开发作业

0     背景

使用DAYU数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。用户在规范设计中创建表时可以配置映射、数据标准和质量规则,同时根据汇总表生成的SQL可以在数据开发中生成对应的端到端全流程数据开发作业。用户在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDIDWIDWRDM整个流程。


1      处理流程

1.1      映射节点

业务表、维度、事实表支持映射配置,映射节点配置处理逻辑如下图所示。

1.2      质量节点

业务表、维度、事实表、汇总表支持数据标准和质量规则配置,表发布后自动在数据开发中生成质量作业。

1.3      全流程作业

汇总表发布后,会根据SDI→DWI→DWR→DM的逆序倒推,找出相关的事实表、维度表以及业务表,生成相应的映射节点、质量节点或者SQL节点。具体处理逻辑如下图所示。

最终生成的全流程作业如下图所示。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。