幻觉治理:让 Agent 说"我不知道"
【摘要】 结论:幻觉无法根除,只能治理。治理的核心不是"让模型更诚实"(它做不到),而是"用外部证据约束它,并让它在缺证据时明确承认"。一、幻觉的三种形态形态表现治理重点事实幻觉编造不存在的事实检索 grounding引用幻觉编造来源/链接引用必须可验证过度自信对不确定内容打包票强制表达不确定性二、Grounding:把答案钉在证据上需要事实的场景,答案必须来自检索到的内容,而非模型记忆。要求模型逐条...
结论:幻觉无法根除,只能治理。治理的核心不是"让模型更诚实"(它做不到),而是"用外部证据约束它,并让它在缺证据时明确承认"。
一、幻觉的三种形态
| 形态 | 表现 | 治理重点 |
|---|---|---|
| 事实幻觉 | 编造不存在的事实 | 检索 grounding |
| 引用幻觉 | 编造来源/链接 | 引用必须可验证 |
| 过度自信 | 对不确定内容打包票 | 强制表达不确定性 |
二、Grounding:把答案钉在证据上
-
需要事实的场景,答案必须来自检索到的内容,而非模型记忆。
-
要求模型逐条引用来源,且引用可被程序校验(链接真实存在、原文确实支持该结论)。
-
检索为空时,明确要求"没有找到依据,无法回答",而不是自由发挥。
三、可验证性是关键
"要求引用"若不可验证,等于没要求。要对引用做程序化检查:来源是否存在、内容是否真包含该论断。这一步能滤掉大量引用幻觉。
四、不确定性表达
在提示层要求:对不确定内容标注置信度或"不确定",而不是一律肯定语气。这既是诚实,也是给用户正确的决策依据。
五、常见误区
-
以为换个更强模型就能消除幻觉;只要求引用不校验;检索为空仍强行回答;不区分"记忆答"与"证据答";用流畅度判断可信度。
六、检查单
-
[ ] 事实型回答有检索 grounding
-
[ ] 引用可程序化验证
-
[ ] 检索为空时明确拒答或说明
-
[ ] 要求表达不确定性
-
[ ] 区分有证据与无证据的回答
-
[ ] 引用来源附时间,便于判断时效
-
[ ] 高危领域有二次校验
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)