Agent 记忆写入准入:压缩触发与召回失效兜底
Agent 的记忆库很少死于容量不够,多数死于写入太随意。三个月后回头看那张表,里面躺着用户随口一说的“今天有点热”、模型自己脑补的“用户偏好深色主题”,以及七条互相矛盾的偏好记录——召回时每条都能在向量空间里命中,没有一条能直接用。记忆能力的成败在上线第一个月就由写入策略决定,跟向量库选型关系不大。
记忆库变垃圾场的三条路径
把对话原文当记忆写入。 滑动窗口一截断,整段文本打上 embedding 直接落库。后果是同义重复占据 top-k,相似度被噪声主导:用户问“我的套餐还能升级吗”,召回的前五条里三条是“你好,有什么可以帮你”。原文是记录,不是记忆。
把模型自述当事实写入。 抽取器不加区分地把模型回复里的“用户似乎更关注成本”写成 preference。这类内容一旦落库,后续对话又会召回它当作上下文证据,模型再次确认,形成自我强化。幻觉不会随时间消失,只会随时间变成“历史事实”。
只写不删。 没有 TTL、没有 supersede 语义,同一个槽位可以有 N 条 active 记录并存。用户三月份说“用 Python”,六月份说“新项目切 Go”,两条都在库里,召回时按相似度排序,可能命中的是前者。
三条路径的共同点是把“记录”当成了“记忆”。记录是 append-only 的日志,记忆是有状态、可更新、可失效的视图。写入准入本质上只回答一个问题:这条信息进来之后,会不会改变 Agent 在未来某次对话里的行为?如果答案是不改变、或者只改变一次,它就不属于长期库。
写入准入:先分级,再打分
分级比打分重要。先按内容性质确定去向,再决定要不要写。
| 记忆类型 | 典型内容 | 去向 | TTL / 失效 | 抽取要求 |
|---|---|---|---|---|
| 事实 Fact | 用户所在城市、账号绑定的套餐 | 长期库 | 变更即覆盖 | 需来源佐证 |
| 偏好 Pref | 回复要简洁、代码用 Go | 长期库 | 90 天无复现则衰减 | 需用户明示或多次复现 |
| 情节 Episode | 上周排查过的故障链路 | 长期库(低权重) | 30–180 天 | 必须摘要化 |
| 任务态 Task | 当前工单号、已完成步骤 | 短期库 | 会话结束即清 | 结构化字段 |
| 噪声 | 寒暄、情绪词、确认性回应 | 不写 | — | — |
分级之后才是打分。四个维度,每个都要能被打点日志复盘:
- 持久性 P:内容在 7 天后是否仍然成立。
- 复用性 R:未来 30 天被召回的可能性,用同主题重复出现次数作代理指标。
- 不可推导性 U:能否从系统已有数据、工具返回或其他记忆推导出来。能推导出来的不写,写了就是冗余。
- 来源置信 C:用户明示 > 工具返回 > 用户隐含 > 模型推断。
from dataclasses import dataclass
from enum import Enum
class Kind(str, Enum):
FACT, PREF, EPISODE, TASK = "fact", "pref", "episode", "task"
SOURCE_CONF = {"user_explicit": 1.0, "tool": 0.85,
"user_implicit": 0.7, "model_infer": 0.3}
PRIOR = {"fact": 1.0, "pref": 0.8, "episode": 0.4, "task": 1.0}
@dataclass
class Candidate:
text: str
kind: Kind
source: str
evidence: list[str] # 支撑该候选的原始消息 id,模型推断为空
entities: list[str]
def admit(c: Candidate, prior_hits: int, derivable: bool) -> float:
if c.kind is Kind.TASK:
return 1.0 # 走结构化通道,不参与打分
p = PRIOR[c.kind.value]
r = min(1.0, 0.3 * prior_hits) # 重复出现次数代理复用概率
u = 0.0 if derivable else 1.0
s = 0.3 * p + 0.3 * r + 0.25 * u + 0.15 * SOURCE_CONF[c.source]
return round(s, 3)
阈值取 0.6 起步,但它的价值不在分数精确,而在于把“凭感觉写”变成每个维度都可追溯的决策。注意 model_infer 只有 0.3 置信,配合 U 维度惩罚,模型自己猜出来的偏好几乎进不了长期库——这正是期望的行为。evidence 为空的候选直接拒绝,不参与打分。
写入前的三道闸
闸一:可推导性。 fact 类候选先查同 user_id + slot 是否已有记录。能查到的走 supersede,不走 insert。用户说“帮我改成上海”,这不是新增一条“城市=上海”,是把旧的 active 记录置为 superseded。
闸二:稳定性。 含“今天”“最近”“这个项目”等时间词或指代词的候选,先做时间归一与指代消解。消解失败的直接丢弃——存一句“这个项目下周上线”进长期库,两周后它既是噪声也是误导。
闸三:冲突裁决。 同槽位冲突不并存。按置信优先、同置信取新,败者进版本链而不是物理删除:
UPDATE memories
SET status = 'superseded', superseded_by = :new_id, updated_at = now()
WHERE user_id = :uid AND slot = :slot AND status = 'active'
AND (confidence < :new_conf
OR (confidence = :new_conf AND created_at < :new_created_at));
版本链是后面所有兜底手段的前提。硬删除之后,你无法回答“Agent 为什么突然不知道这件事了”,也无法在错误覆盖发生时回滚。
短期压缩:触发条件要可观测
不要在轮数上拍脑袋。三个触发器,任一命中即压缩:
- 水位:记忆 + 对话 token 超过模型窗口的 55%。剩下 45% 留给工具返回和输出,工具返回是最不可控的膨胀源,把预算全给对话是常见事故。
- 边界:意图分类切换,或用户明确开启新话题。此刻压缩质量最高,因为语义块天然完整,不需要猜测切分点。
- 漂移:最近 6 轮与上次压缩锚点(主题摘要)的相似度低于阈值。话题已经走远,旧内容留着只占位置。
压缩不是摘要得越短越好,是有明确的保留清单:
必须原样保留——用户的明确指令与否定约束(“不要用 ORM”)、实体标识(订单号、表名、文件路径)、未完成待办与当前进度、已执行且不可回滚的操作。
可以压缩——工具调用的中间返回(只留结论与关键字段)、已完成的推理过程、寒暄与确认性对话。
压缩输出必须是固定字段的结构化 JSON,不能是自由段落,否则下一轮还要重新解析,等于没压:
{
"goal": "用户当前目标,一句话",
"constraints": ["用户明确提出的禁止与要求,逐条"],
"entities": {"order_id": "...", "table": "..."},
"done": ["已完成且不可回滚的动作"],
"todo": ["未完成步骤"],
"open_questions": ["待确认事项"]
}
配套约束一句话:未出现在上述字段中的信息一律视为可丢弃。回写短期库时带上锚点时间戳与覆盖的消息区间 [start_msg_id, end_msg_id],出问题时能回溯到底是哪次压缩丢了关键约束。
长期召回失效的兜底
召回失效有四种形态,兜底策略不同:
| 形态 | 现象 | 兜底 |
|---|---|---|
| 空召回 | top-k 全部低于阈值 | 降级会话摘要,并显式声明无相关记忆 |
| 低置信 | 分数在 0.5–0.7 徘徊 | 带分数与时间注入,交由模型判断 |
| 冲突 | 同槽位多条 active | 写入层本应杜绝,兜底取最新并标注 |
| 过期 | 内容与当前事实不符 | TTL + 定期重校验任务 |
空召回不能静默。 静默的后果是模型自由发挥,用户看到的是一段自信的错答案。正确做法是注入一条明确信号:[memory] 未检索到与"退款政策"相关的历史记忆,如需准确信息请调用工具查询。成本极低,作用是把幻觉转成工具调用。
低置信召回带元信息注入,而不是简单提高阈值:
[memory score=0.62 age=47d source=user_implicit]
用户可能偏好简短回复
阈值调到 0.8 会漏掉大量长尾但仍有用的记忆;带分数注入把判断权交回模型,同时保留了证据强度信息。
冲突与过期靠后台任务,不靠在线兜底。 每日扫一批高风险记忆送模型复核:
SELECT id, content FROM memories
WHERE status = 'active' AND kind IN ('fact', 'pref')
AND (last_verified_at IS NULL
OR last_verified_at < now() - interval '60 days')
ORDER BY confidence DESC, recall_count DESC
LIMIT 200;
复核结果三态:确认则刷新 last_verified_at;修正则生成新版本并 supersede 旧记录;失效则置 status='expired'。同时给每条记忆维护 recall_count 与 last_recalled_at——连续 180 天零召回且低置信的记录,降权或清理,这是防止垃圾场的最后一道闸。
最后一条规则比任何权重都重要: model_infer 来源的记忆必须带 verifiable=false,且不允许作为其他记忆的 evidence。否则模型猜测会被写进库,再被召回作为“证据”,再推导出新的猜测,污染链一旦形成就只能靠人工清洗。
落地建议
- 先建表结构,再谈向量库。
memories(id, user_id, kind, slot, content, source, confidence, evidence_ids, status, superseded_by, created_at, last_verified_at, recall_count),status枚举active / superseded / expired。没有 status 字段的记忆库不可运维。 - 第一周只打点不落库。 把准入分、四个维度取值、最终决策全量记录,人工抽查 200 条校准阈值后再开写入。直接上线等于把垃圾场建在生产环境。
- TASK 类记忆与会话生命周期绑定。 会话结束即清,永不进长期库。任务态是所有类型里堆积最快、复用率最低的一类。
- 压缩产物固定为结构化 JSON,并带消息区间锚点。 自由摘要段落在多轮之后无法回溯,也无法验证是否丢了约束。
- 给空召回率设告警。 持续高于 30% 说明抽取层和查询层至少有一层错位:先查抽取是否漏掉了用户明示信息,再调相似度阈值,顺序反了会白忙一轮。
- 点赞
- 收藏
- 关注作者
评论(0)