基于模型驱动的智能自动化流水线建设
规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。同时与周边服务数据治理、数据资产等联接,协助用户在模型创建发布后,自动化创建相关联同步作业流水线。
当模型创建保存成功后,点击发布。发布成功后会自动进行物理表、数据资产、质量作业等的自动化创建或更新。用户可以在配置中心选择需要自动化流水线中包含哪些功能。
1 创建物理表
通过DDL在对应的数仓中创建物理表。DDL模板是用户可编辑的,在配置中心的DDL模板管理中查看修改。
查看同步状态图标,若显示“创建表: 创建成功”说明该表在对应的数据源下已经创建成功。如果失败,可以单击“更多 > 发布历史”,然后进入“发布日志”页查看日志。
2 同步技术资产、业务资产、资产关联
在数据资产中通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。在模型发布后,会自动向数据资产中同步相应的资产信息,用户可以在数据资产中查阅。
3 创建质量作业
数据治理过程中一个非常关键的支撑流程就是数据质量管理,数据质量管理主要用来定义、监控和提高数据质量。
在模型发布后,进入详情页,在关联数据标准和关联质量规则下选择需要添加的规则,规范设计会自动在数据治理中创建相应的质量作业。
在数据质量中的质量作业中可以看到创建的作业。
4 创建数据开发作业
在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDI、DWI、DWR、DM整个流程。可在数据开发服务中查看、执行或监控相应作业执行情况。在数据开发中可以看到相对应的pipeline作业,同时自动生成数据血缘关系。
生成的血缘如图。
5 发布数据服务API
在规范设计中发布汇总表后,会在数据服务创建API。
- 点赞
- 收藏
- 关注作者
评论(0)