如何在DGC中输出不符合数据质量的异常数据

举报
哦哦哦哦哦嘛 发表于 2020/12/31 11:12:53 2020/12/31
【摘要】 数据质量异常数据输出功能,可将质量作业中不符合设定规则的异常数据存储在异常表中,下面介绍如何通过DAYU中的数据质量模块实现异常数据的输出。

概述

数据质量异常数据输出功能,可将质量作业中不符合设定规则的异常数据存储在异常表中,下面介绍如何通过DAYU中的数据质量模块实现异常数据的输出。

准备阶段

这步可参考如何在DAYU中实现跨源数据对账文章中的准备阶段,创建好一个数据源,例如DLI

创建质量作业

在准备好数据连接后,接下来进入数据质量模块,创建对应的数据质量作业

  1. 在DAYU中切换到数据质量模块,点击左侧质量作业菜单点击新建创建质量作业,填写质量作业名称后,点击下一步
  2. 进入规则配置步骤后,此处可以配置库级、表级、字段级、跨字段级、自定义五种类型的规则选择对应的规则类型,数据连接,数据对象后,配置告警条件其中生成异常数据开关打开后,可以配置异常数据输出,包括输出库,输出表名的前后缀。除了输出异常数据外,还可以选择是否输出规则配置,包括质量作业名称、规则模板、模板正则表达式、告警条件、质量维度、生成时间、异常字段名。输出空值表示生成的异常数据中,是否包含空值。
  3. 订阅信息,可以参考如何在DAYU中实现跨源数据对账文章中配置订阅信息。
  4. 最后一步配置此作业是否进行周期性调度,可以参考如何在DAYU中实现跨源数据对账文章中配置周期性调度。
  5. 点击提交后保存质量作业,然后点击对应的质量作业操作列中的运行链接,运行质量作业后,自动跳转到运维管理页面。
  6. 点击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图,异常数据成功生成到异常表中。最后,通过DLI可以查询生成的异常表内容,如下图

结果分析

至此,完成了通过DAYU数据质量模块中的质量作业功能实现了DLI的异常数据输出功能。

运行结果中,显示了异常表输出的库、表和状态信息。

到DLI服务,查询生成的异常表,可以看到不符合数据质量规则的异常数据。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。