数据质量规则六大维度介绍及质量评分标准探索

数据质量维度

目前业界对于数据质量的衡量标准，分为以下六大维度：

数据质量评分探索

父级对象（库对表、表对字段）加权取平均值

单个规则对象（库、表、字段）按六个质量维度划分

总分=∑ 维度权重*维度分数/维度总数（加权取平均值）

初级阶段推荐：

每个维度采用正向加分机制，即规则运行通过加分（每个规则通过+合法性比率分），无合法性规则为1

后期阶段推荐：

每个维度采用负向减分机制，即规则运行不通过减分（每个规则不通过-合法性比率分，满分为规则总数）

最终得分softmax算法（为了保证分数结果0-1之间，总和为1，可以灵活放大或缩小单个规则对总分的影响）进行归一化计算：

https://zh.wikipedia.org/wiki/Softmax%E5%87%BD%E6%95%B0，此算法适合凸显有问题的数据，但不适合都有问题的数据场景

得到0-1之间的小数，然后根据用户设置的满分区间进行放大（支持5分满分、10分满分、100分满分随意设置）

示例：

数据库A总计2张表, 分别对应2个字段

对数据库A配置了完整性扫描，结果每个表有1个字段为空

正向加分机制：

为空字段完整性得分 = 0

不为空字段完整性得分 = 1

负向减分机制：

为空字段完整性得分 = 1-1 = 0

不为空字段完整性得分 = 1

单完整性表得分 = （0+1）/2  = 0.5

库完整性得分 = ∑ 单表得分/2 = 0.5

其他维度没有计算默认为--