基于模型设计的数据开发作业自动创建
【摘要】 模型设计完成后,如何生成端到端全流程的数据开发作业
0 背景
使用DAYU数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。用户在规范设计中创建表时可以配置映射、数据标准和质量规则,同时根据汇总表生成的SQL可以在数据开发中生成对应的端到端全流程数据开发作业。用户在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDI、DWI、DWR、DM整个流程。
1 处理流程
1.1 映射节点
业务表、维度、事实表支持映射配置,映射节点配置处理逻辑如下图所示。
1.2 质量节点
业务表、维度、事实表、汇总表支持数据标准和质量规则配置,表发布后自动在数据开发中生成质量作业。
1.3 全流程作业
汇总表发布后,会根据SDI→DWI→DWR→DM的逆序倒推,找出相关的事实表、维度表以及业务表,生成相应的映射节点、质量节点或者SQL节点。具体处理逻辑如下图所示。
最终生成的全流程作业如下图所示。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)