把「数据质量体检」做进产品:7 项检查让脏数据无处藏身
把「数据质量体检」做进产品:7 项检查让脏数据无处藏身
为什么先做体检,而不是先做模型
我们做校园自习空间调度时,最初两版算法效果都"飘":同一份数据跑两次,推荐结果差很多。
排查半天发现不是算法问题,而是数据本身在骗人——有几条预约的时间段越界到闭馆之后、
有一批座位的台账数量和房间容量对不上、还有同座位同时段的重叠占用。
这些脏数据不会报错,只会让模型输出莫名其妙的结果。所以我们停下来做的第一件事,
是把"数据体检"做成产品里的一个页面。
7 项检查与它们各自防的坑
| # | 检查项 | 抓什么 | 权重 |
|---|---|---|---|
| 1 | 关键字段完整性 | date / 起止时段 / status 为空 | 1.5 |
| 2 | 时段合法性 | 起止时间倒挂、超出房间开放时段 | 1.5 |
| 3 | 座位占用冲突 | 同座位同时段重叠占用 | 2.0 |
| 4 | 引用完整性 | 预约引用了不存在的学生/座位(孤儿记录) | 1.0 |
| 5 | 座位台账一致性 | 房间 seat_count ≠ 实际座位行数 | 1.0 |
| 6 | 近期数据覆盖面 | 近 7 天有预约的房间占比 | 0.8 |
| 7 | 爽约率合理性 | 整体爽约率是否落在 2%~30% | 0.8 |
得分算法很朴素:100 × 通过项的权重和 / 总权重。这样权重高的项(冲突、越界)一旦不过,
分数会明显掉下来,而不是被一堆小事稀释。
三个检查背后的真实教训
① 冲突检查必须用区间相交,不能用字段相等
错:UNIQUE(seat_id, date, start_hour, end_hour)
9-11 和 10-12 在四个字段上完全不同,但实际抢同一个座位。
正确做法是把区间展开成「座位·小时」,或者判定 start < other.end AND end > other.start。
② 台账一致性看着最"无聊",却最容易出事
我们的房间表里有"座位数",座位表里有实际座位行。两者一旦不同步,
所有"负载率/饱和度"指标全部失真——因为分母错了。这类错误不会抛异常,只会让指标静默偏移。
③ 覆盖面检查是给"看不见的空白"准备
如果某个房间近 7 天一条预约都没有,模型无法判断是"没人去"还是"数据没接进来"。
这项检查会把它显式报出来,避免把"数据缺口"当成"需求为零"。
体检为什么必须放在页面里,而不是写在脚本里
我们一开始把它写成一次性脚本,跑完打印一堆日志。结果:
• 每次改数据结构都要重新跑脚本、肉眼比对;
• 业务同学看不到,永远不知道自己的数据有问题;
• 出了问题只能靠人回忆"上次体检是什么时候、什么结论"。
做成页面之后,只要打开驾驶舱旁边的「数据管理」就能看到:得分、7 项逐条结论、
出问题的表行数。数据一重灌,分数立刻变化,问题当场暴露。
小结
• 数据质量不是"上线前跑一次的检查",而应该是产品里的一个常驻视图;
• 检查项要按"对下游结论的影响"加权,而不是平均分配;
• 最高优先级的检查是"会静默污染指标"的那几项:冲突、越界、台账不一致;
• 体检得分要和具体结论一起展示——只给一个 92 分,没有任何可操作性。
- 点赞
- 收藏
- 关注作者
评论(0)