基于模型驱动的智能自动化流水线建设

举报
玄米茶 发表于 2020/12/23 18:23:17 2020/12/23
【摘要】 规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。同时与周边服务数据治理、数据资产等联接,协助用户在模型创建发布后,自动化创建相关联同步作业流水线。当模型创建保存成功后,点击发布。发布成功后会自动进行物理表、数据资产、质量作业等的自动化创建或更新。用户可以在配置中心选择需要自动化流水线...

规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。同时与周边服务数据治理、数据资产等联接,协助用户在模型创建发布后,自动化创建相关联同步作业流水线。

当模型创建保存成功后,点击发布。发布成功后会自动进行物理表、数据资产、质量作业等的自动化创建或更新。用户可以在配置中心选择需要自动化流水线中包含哪些功能。

1.png

1.png

1      创建物理表

通过DDL在对应的数仓中创建物理表。DDL模板是用户可编辑的,在配置中心的DDL模板管理中查看修改。

1.png

查看同步状态图标,若显示创建表: 创建成功说明该表在对应的数据源下已经创建成功。如果失败,可以单击更多 > 发布历史,然后进入发布日志页查看日志。

1.png


2      同步技术资产、业务资产、资产关联

在数据资产中通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。在模型发布后,会自动向数据资产中同步相应的资产信息,用户可以在数据资产中查阅。

1.png


3      创建质量作业

数据治理过程中一个非常关键的支撑流程就是数据质量管理,数据质量管理主要用来定义、监控和提高数据质量。

在模型发布后,进入详情页,在关联数据标准和关联质量规则下选择需要添加的规则,规范设计会自动在数据治理中创建相应的质量作业。

1.png

1.png

在数据质量中的质量作业中可以看到创建的作业。

1.png


4      创建数据开发作业

在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDIDWIDWRDM整个流程。可在数据开发服务中查看、执行或监控相应作业执行情况。在数据开发中可以看到相对应的pipeline作业,同时自动生成数据血缘关系。

1.png


生成的血缘如图。

2.png


5      发布数据服务API

在规范设计中发布汇总表后,会在数据服务创建API

1.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。