AI 助手没有记忆,问题不在模型:一次个人知识库实测的三点教训
最近我把自己的笔记交给 AI 助手,想让它变成一个随叫随到的个人知识库。结果很扎心:同一件事,上周明明写过,这周它又像第一次听说。我一开始怪模型记性差,后来做了三次对照,才发现问题不在模型,而在我给它的方式。先说结论:记忆不是把所有东西都塞进去,而是让助手在正确的时候,只拿到正确的一小部分。下面是我用三十多条真实笔记做的实测,方法不复杂,任何人都能复现。
一、测试是怎么做的
我准备了三类问题来考它。第一类是事实回忆,例如我上周定的服务器续费日期和备份策略;第二类是偏好判断,例如我写技术文章喜欢的口吻和篇幅;第三类是多步推理,例如根据三条零散笔记拼出一个项目的下一步。每个问题我都先在笔记里确认有明确答案,再看助手能不能在不提示原文的情况下答对。评分很简单:答对、答错、编造,三个档就够了,不用搞复杂量表。
二、第一次:把笔记全塞进去,结果最差
我先把三十多条笔记原样拼成一个长文档,告诉助手以后都按这个回答。结果反而最差。长文档里有旧方案、新方案、随手记和待办混在一起,助手经常把已废弃的旧配置当成现行答案。更麻烦的是,它会在回答里把几个不相关的片段拼起来,看起来言之凿凿,实际上没有一条笔记这样写过。这次教训很直接:信息越多,干扰也越多,全量记忆等于没有重点。
三、第二次:只给摘要,准了,但丢了细节
第二次我把每条笔记压缩成一句话摘要,只保留结论和日期,删掉过程和背景。这次事实类问题明显好转,助手不再把旧配置当成新答案。但是多步推理还是不行,因为摘要里没有留出推导链条。比如我问下一步该先做哪件事,它能说出目标,却说不出为什么先做这件而不是那件。摘要适合快速回忆,不适合需要证据的判断,这是第二次的边界。
四、第三次:分层给,效果最好
第三次我做了分层。第一层是长期偏好和硬性约束,例如写作口吻、预算上限和不能碰的生产操作;第二层是当前项目的一页摘要;第三层才是按需调取的原始笔记,而且每次只给最相关的两三条,回答时还要标出依据是哪条笔记。结果三类问题都稳定了很多,尤其多步推理,因为它终于有了可核对的证据,而不是凭感觉拼凑。分层的核心不是技术多高级,而是先想清楚这次对话到底需要什么。
五、可以照抄的落地清单
第一,定期清理笔记,把已废弃方案单独归档,不要和现行方案放在同一层。第二,给每条重要笔记加一句话结论和最后更新日期,助手先读结论,再决定要不要读全文。第三,回答前要求它先列出依据,找不到依据就直说不知道,不要编。第四,敏感操作单独设一道人工确认,哪怕助手很有把握。第五,每周花十分钟复盘一次答错的问题,多数时候错的不是模型,而是笔记本身写得含糊。
结语
这次实测让我换了一个标准:不再问助手记住了多少,而是问它在关键时刻能不能少而准地拿到依据。记忆做得好,助手会显得稳;记忆做得乱,助手只会显得自信地出错。如果你也在给助手接知识库,不妨先从清理和分层开始,效果往往比换一个更大的模型更明显。
- 点赞
- 收藏
- 关注作者
评论(0)