从运行日志里挖需求:我们怎么用三周数据反推功能优先级
从运行日志里挖需求:我们怎么用三周数据反推功能优先级
起因:需求是拍出来的
自习空间调度系统第一版的功能清单,是我们四个人开一次会"想"出来的:驾驶舱、热力图、
预测、推荐、知识库、智能体…… 做完之后有个问题:没人知道哪个功能真的被用了。
于是我们加了两处埋点:
1. 接口维度:每个 /api/* 请求记一次耗时(中间件,before_request/after_request);
2. 业务维度:智能体每次对话落库(意图、槽位、工具链、端到端耗时)。
三周后把这批数据摊开看,结论和我们预想的差得挺远。
发现一:最贵的接口不是最慢的,而是最频繁的
| 接口 | 平均耗时 | 调用占比 |
|---|---|---|
| /api/overview(驾驶舱) | 350 ms | 38% |
| /api/features/rooms(房间特征) | 197 ms | 12% |
| /api/dispatch/recommend(推荐) | 209 ms | 9% |
| /api/agent/chat(智能体) | 150 ms | 27% |
驾驶舱单次 350ms 不算离谱,但它占了 38% 的调用量——总耗时里它吃掉了一半。
优化它带来的收益远大于优化那个"最慢"的接口。
具体做法就是把房间特征算一次、缓存 5 分钟(可容忍陈旧),驾驶舱从 350ms 降到 30ms 量级。
结论:看板类要按"调用量 × 耗时"排序,而不是只看单次耗时。
发现二:智能体里真正被问的只有三类问题
我们把意图分布一统计(agent_logs 里 group by intent):
| 意图 | 占比 |
|---|---|
| 空座查询 | 46% |
| 座位推荐 | 31% |
| 规则问答 | 15% |
| 其余(预测/调度/信用/预约) | 8% |
而我们在这些"其余"上花的时间最多——预测和错峰调度是最难写的两块,
实际被问到的比例却不到 10%。
这不是说它们没价值(它们是"给管理员看"的能力,走驾驶舱而不是对话),
但它提醒我们:面向学生的入口,就该把"有没有座、推荐哪个"做到极致。
于是我们做了两件小事:
• 智能体回答空座查询时,直接给出"最空闲的那一间"并追问"要不要我推荐座位",把 46% 的请求导向 31% 的下一步;
• 规则问答命中知识库时,回答里带上条目编号,方便用户复查来源。
发现三:长尾耗时全部来自"没命中缓存"
把 latency_ms 按分位数看:P50 是 23ms,P95 是 208ms,最大值 400ms+。
P95 与 P50 差 10 倍,说明有一类请求走了"冷路径"——首查要现算房间特征。
这就是我们加缓存的直接依据:不是"感觉慢",而是分位数告诉我们慢在哪一步。
我们最后悔的一件事
埋点加晚了。前两周的对话数据没有意图字段,只有原始问句,
只能靠关键词反推意图,浪费了一轮清洗。
如果重来,我会在第一天就把这三样落库:
session_id intent query tools latency_ms ok
成本极低(一张表、一次 insert),但它是后面所有"该做什么功能"的唯一依据。
小结
• 埋点不是"上线后再补",而是第一天就该有的基础设施;
• 评价接口优先级用"调用量 × 耗时",别只看单次;
• 意图分布能直接告诉你:宣传说的重点,和用户真正在问的,是不是同一件事;
• 分位数(P50/P95)比平均值有用得多——它告诉你"有一类请求走的是另一条路"。
- 点赞
- 收藏
- 关注作者
评论(0)