实战进阶:如何根治大模型的“一本正经胡说八道”?基于华为云的 RAG 检索增强评测与幻觉治理实战
一、 前言
在前几天的文章中,我们搭建了基于 RAG(检索增强生成)的企业知识库。理论上,有了知识库的加持,大模型应该“有据可查”。
但在实际生产环境中,你可能会遇到以下极其尴尬的场景:
1. 胡编乱造(幻觉):当知识库中没有相关文档时,大模型为了“显得自己很有用”,往往会凭空编造一个合同条款或技术参数。
2. 大海捞针失败:向量检索只召回了包含相似关键词但实际上毫无关系的文档,导致大模型被“误导”。
3. 缺乏量化指标:我们无法评估当前改了 Prompt 或换了模型后,系统的准确率到底提升了还是下降了。
为了解决这些痛点,RAG 评测体系与安全护栏(RAG Evaluation & Guardrails) 成为了大模型工程化的必修课。今天,我们就来聊聊如何在华为云上落地一套轻量级的评测与治理方案。
────────────────────────────────────
二、 RAG 幻觉治理的三大核心指标
在工业界评估 RAG 系统的性能时,通常引入 RAG Triad(三元组评测标准):
1. 上下文相关性(Context Relevance):
*指标含义*:向量数据库检索出来的文档,和用户提问到底有没有关系?(防止垃圾召回)。
1. 忠实度/真实性(Faithfulness / Groundedness):
*指标含义*:大模型生成的回答,是不是完全基于检索出来的文档?(防止凭空捏造、幻觉产生)。
1. 答案相关性(Answer Relevance):
*指标含义*:大模型生成的回答,是不是直接回答了用户的提问?(防止答非所问)。
────────────────────────────────────
三、 核心代码实战:编写一个自动化 RAG 幻觉检测与评测脚本
以下是一个精简的 Python 实现脚本,模拟了利用“大模型当裁判(LLM-as-a-Judge)”来自动检测生成结果是否存在幻觉:
import json
import requests
# ==================== 1. 配置华为云大模型裁判接口 ====================
MODEL_API_URL = "https://your-modelarts-endpoint-url.com/v1/chat/completions"
API_TOKEN = "您的华为云-IAM-Token"
# ==================== 2. 定义“大模型裁判”评估函数 ====================
def evaluate_rag_faithfulness(
user_query: str, retrieved_context: str, model_answer: str
) -> dict:
"""利用大模型作为裁判,评估生成答案对检索上下文的“忠实度”(是否产生幻觉)"""
judge_prompt = f"""
你是一个严苛的 AI 医疗/金融合规审计专家。请根据【用户问题】、【检索上下文】和【AI生成答案】,评估 AI 是否产生了幻觉(即回答中的关键事实是否超出了上下文的范围,或者是否捏造了信息)。
【用户问题】:
{user_query}
【检索上下文】:
{retrieved_context}
【AI生成答案】:
{model_answer}
请严格输出一个 JSON 格式的结果(不要包含任何 markdown 标记),包含以下两个字段:
1. "is_hallucination": 布尔值(true 表示有幻觉或违背上下文,false 表示忠实可靠)。
2. "reason": 简短的中文评语解释。
"""
headers = {"Content-Type": "application/json", "X-Auth-Token": API_TOKEN}
payload = {
"model": "your-model-name",
"messages": [{"role": "user", "content": judge_prompt}],
"temperature": 0.0, # 裁判必须客观,温度设为 0
}
try:
response = requests.post(
MODEL_API_URL, headers=headers, json=payload, timeout=30
)
if response.status_code == 200:
result_text = (
response.json()["choices"][0]["message"]["content"]
.strip()
.replace("```json", "")
.replace("```", "")
)
return json.loads(result_text)
else:
return {
"is_hallucination": True,
"reason": "评测接口调用失败",
}
except Exception as e:
return {"is_hallucination": True, "reason": f"解析异常: {str(e)}"}
# ==================== 3. 生产环境安全护栏(Guardrails)拦截 ====================
def safe_rag_pipeline(user_query: str, retrieved_context: str, raw_answer: str):
print(f"用户提问: {user_query}")
print(f"检索上下文: {retrieved_context}")
print(f"AI 原始回答: {raw_answer}\n")
print("=== 正在运行华为云安全护栏与幻觉检测 ===")
eval_result = evaluate_rag_faithfulness(
user_query, retrieved_context, raw_answer
)
if eval_result.get("is_hallucination", True):
print("🚨【安全拦截触发】检测到大模型可能存在幻觉或事实不符!")
print(f"拦截原因: {eval_result.get('reason')}")
return "很抱歉,根据当前企业知识库,我无法确凿地回答您的这个问题,建议您咨询人工客服。"
else:
print("✅【安全通过】未检测到幻觉,回答完全忠实于知识库。")
return raw_answer
# ==================== 4. 主程序测试 ====================
if __name__ == "__main__":
# 模拟场景
query = "我们公司的年假规定是几天?"
context = (
"公司规章制度第 5 条:所有正式员工转正后每年享有 10 天带薪年假。"
)
# 案例 A:大模型正常回答(无幻觉)
answer_good = "根据公司规章制度,正式员工每年享有 10 天带薪年假。"
print("--- 测试用例 A(正常回答) ---")
final_output_a = safe_rag_pipeline(query, context, answer_good)
print(最终输出: f"{final_output_a}\n")
# 案例 B:大模型胡编乱造(幻觉)
answer_bad = "公司规定每年有 15 天年假,并且病假期间带薪全额发放。"
print("--- 测试用例 B(幻觉回答) ---")
final_output_b = safe_rag_pipeline(query, context, answer_bad)
print(f"最终输出: {final_output_b}")
────────────────────────────────────
四、 生产环境落地防线架构建议
要在企业级生产环境中彻底驯服大模型,建议在华为云上搭建双重防御体系:
1. 输入端护栏(Input Guardrails):
在用户输入请求时,通过敏感词过滤、提示词注入(Prompt Injection)检测拦截恶意攻击。
1. 输出端护栏(Output Guardrails):
采用上文的代码逻辑,利用“裁判模型”或确定性规则引擎,在答案返回给用户前进行最后一道安全扫描。若发现幻觉,立即触发兜底回复,保护企业品牌声誉。
────────────────────────────────────
五、 总结
通过今天的【番外篇之三】实战,我们探讨了如何利用 RAG 三元组指标与大模型裁判机制,治理令人头疼的 AI 幻觉。
大模型的强大伴随着不确定性。唯有建立科学的评测体系与坚固的安全护栏,AI 才能真正从“实验室玩具”蜕变为能为企业创造巨大价值的“生产力工具”。
如果你在搭建 RAG 评测集或编写 Guardrails 拦截规则时遇到问题,欢迎在评论区留言交流!
- 点赞
- 收藏
- 关注作者
评论(0)