把「数据质量体检」做进产品:7 项检查让脏数据无处藏身

举报
年年真快乐 发表于 2026/11/09 10:14:54 2026/11/09
【摘要】 把「数据质量体检」做进产品:7 项检查让脏数据无处藏身为什么先做体检,而不是先做模型我们做校园自习空间调度时,最初两版算法效果都"飘":同一份数据跑两次,推荐结果差很多。排查半天发现不是算法问题,而是数据本身在骗人——有几条预约的时间段越界到闭馆之后、有一批座位的台账数量和房间容量对不上、还有同座位同时段的重叠占用。这些脏数据不会报错,只会让模型输出莫名其妙的结果。所以我们停下来做的第一件事...

把「数据质量体检」做进产品:7 项检查让脏数据无处藏身

为什么先做体检,而不是先做模型

我们做校园自习空间调度时,最初两版算法效果都"飘":同一份数据跑两次,推荐结果差很多。

排查半天发现不是算法问题,而是数据本身在骗人——有几条预约的时间段越界到闭馆之后、

有一批座位的台账数量和房间容量对不上、还有同座位同时段的重叠占用。

这些脏数据不会报错,只会让模型输出莫名其妙的结果。所以我们停下来做的第一件事,

是把"数据体检"做成产品里的一个页面。

7 项检查与它们各自防的坑

| # | 检查项 | 抓什么 | 权重 |

|---|---|---|---|

| 1 | 关键字段完整性 | date / 起止时段 / status 为空 | 1.5 |

| 2 | 时段合法性 | 起止时间倒挂、超出房间开放时段 | 1.5 |

| 3 | 座位占用冲突 | 同座位同时段重叠占用 | 2.0 |

| 4 | 引用完整性 | 预约引用了不存在的学生/座位(孤儿记录) | 1.0 |

| 5 | 座位台账一致性 | 房间 seat_count ≠ 实际座位行数 | 1.0 |

| 6 | 近期数据覆盖面 | 近 7 天有预约的房间占比 | 0.8 |

| 7 | 爽约率合理性 | 整体爽约率是否落在 2%~30% | 0.8 |

得分算法很朴素:100 × 通过项的权重和 / 总权重。这样权重高的项(冲突、越界)一旦不过,

分数会明显掉下来,而不是被一堆小事稀释。

三个检查背后的真实教训

① 冲突检查必须用区间相交,不能用字段相等


错:UNIQUE(seat_id, date, start_hour, end_hour)

9-11 和 10-12 在四个字段上完全不同,但实际抢同一个座位。

正确做法是把区间展开成「座位·小时」,或者判定 start < other.end AND end > other.start。

② 台账一致性看着最"无聊",却最容易出事

我们的房间表里有"座位数",座位表里有实际座位行。两者一旦不同步,

所有"负载率/饱和度"指标全部失真——因为分母错了。这类错误不会抛异常,只会让指标静默偏移。

③ 覆盖面检查是给"看不见的空白"准备

如果某个房间近 7 天一条预约都没有,模型无法判断是"没人去"还是"数据没接进来"。

这项检查会把它显式报出来,避免把"数据缺口"当成"需求为零"。

体检为什么必须放在页面里,而不是写在脚本里

我们一开始把它写成一次性脚本,跑完打印一堆日志。结果:

• 每次改数据结构都要重新跑脚本、肉眼比对;

• 业务同学看不到,永远不知道自己的数据有问题;

• 出了问题只能靠人回忆"上次体检是什么时候、什么结论"。

做成页面之后,只要打开驾驶舱旁边的「数据管理」就能看到:得分、7 项逐条结论、

出问题的表行数。数据一重灌,分数立刻变化,问题当场暴露。

小结

• 数据质量不是"上线前跑一次的检查",而应该是产品里的一个常驻视图;

• 检查项要按"对下游结论的影响"加权,而不是平均分配;

• 最高优先级的检查是"会静默污染指标"的那几项:冲突、越界、台账不一致;

• 体检得分要和具体结论一起展示——只给一个 92 分,没有任何可操作性。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。