如何在DGC中输出不符合数据质量的异常数据
【摘要】 数据质量异常数据输出功能,可将质量作业中不符合设定规则的异常数据存储在异常表中,下面介绍如何通过DAYU中的数据质量模块实现异常数据的输出。
概述
数据质量异常数据输出功能,可将质量作业中不符合设定规则的异常数据存储在异常表中,下面介绍如何通过DAYU中的数据质量模块实现异常数据的输出。
准备阶段
这步可参考如何在DAYU中实现跨源数据对账文章中的准备阶段,创建好一个数据源,例如DLI
创建质量作业
在准备好数据连接后,接下来进入数据质量模块,创建对应的数据质量作业
- 在DAYU中切换到数据质量模块,点击左侧质量作业菜单点击新建创建质量作业,填写质量作业名称后,点击下一步
- 进入规则配置步骤后,此处可以配置库级、表级、字段级、跨字段级、自定义五种类型的规则选择对应的规则类型,数据连接,数据对象后,配置告警条件其中生成异常数据开关打开后,可以配置异常数据输出,包括输出库,输出表名的前后缀。除了输出异常数据外,还可以选择是否输出规则配置,包括质量作业名称、规则模板、模板正则表达式、告警条件、质量维度、生成时间、异常字段名。输出空值表示生成的异常数据中,是否包含空值。
- 订阅信息,可以参考如何在DAYU中实现跨源数据对账文章中配置订阅信息。
- 最后一步配置此作业是否进行周期性调度,可以参考如何在DAYU中实现跨源数据对账文章中配置周期性调度。
- 点击提交后保存质量作业,然后点击对应的质量作业操作列中的运行链接,运行质量作业后,自动跳转到运维管理页面。
- 点击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图,异常数据成功生成到异常表中。最后,通过DLI可以查询生成的异常表内容,如下图
结果分析
至此,完成了通过DAYU数据质量模块中的质量作业功能实现了DLI的异常数据输出功能。
运行结果中,显示了异常表输出的库、表和状态信息。
到DLI服务,查询生成的异常表,可以看到不符合数据质量规则的异常数据。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)