题库开发第三十二天：AI出题质量抽检

今天做了一件有点枯燥但很重要的事：抽检AI生成的题目。

之前智能出题功能上线后，一直靠“人工审核”环节把关，但审核时人是有主观偏差的——看着差不多就点了通过。今天换了个方法：随机抽了100道已入库的AI生成题，不看来源，只当普通题目做一遍，记录实际答题体验。

结果有点意外：

• 完全没问题的：72道

• 选项有歧义的：15道（比如“以下哪个正确”但有两个选项都对）

• 解析太简略的：8道（解析只有一句话，等于没写）

• 答案有误的：5道（明显的正确答案标错了）

28%的题有问题，比我预想的高。 之前审核通过率有85%，说明人工审核时确实会漏掉一些。

针对这四类问题，做了对应的优化：

• 选项歧义：在prompt里加了“确保只有一个选项是完全正确的，其他选项必须是明确错误的”的约束

• 解析简略：要求解析至少包含“为什么选这个”和“为什么不选其他”两部分

• 答案有误：加了自动校验环节——把题目和答案发给另一个模型，让它独立做一遍，两次答案不一致的标红提醒

改完之后重新生成了50道题测试，问题率从28%降到了12%。虽然还没到完美，但比之前好多了。

明天继续抽检，顺便把之前那5道答案有误的题找出来修正。