实战进阶:如何根治大模型的“一本正经胡说八道”?基于华为云的 RAG 检索增强评测与幻觉治理实战

举报
cl16315 发表于 2026/11/14 07:19:50 2026/11/14
【摘要】 一、 前言在前几天的文章中,我们搭建了基于 RAG(检索增强生成)的企业知识库。理论上,有了知识库的加持,大模型应该“有据可查”。但在实际生产环境中,你可能会遇到以下极其尴尬的场景:1. 胡编乱造(幻觉):当知识库中没有相关文档时,大模型为了“显得自己很有用”,往往会凭空编造一个合同条款或技术参数。2. 大海捞针失败:向量检索只召回了包含相似关键词但实际上毫无关系的文档,导致大模型被“误导”...

一、 前言

在前几天的文章中,我们搭建了基于 RAG(检索增强生成)的企业知识库。理论上,有了知识库的加持,大模型应该“有据可查”。

但在实际生产环境中,你可能会遇到以下极其尴尬的场景:

1. 胡编乱造(幻觉):当知识库中没有相关文档时,大模型为了“显得自己很有用”,往往会凭空编造一个合同条款或技术参数。
2. 大海捞针失败:向量检索只召回了包含相似关键词但实际上毫无关系的文档,导致大模型被“误导”。
3. 缺乏量化指标:我们无法评估当前改了 Prompt 或换了模型后,系统的准确率到底提升了还是下降了。

为了解决这些痛点,RAG 评测体系与安全护栏(RAG Evaluation & Guardrails) 成为了大模型工程化的必修课。今天,我们就来聊聊如何在华为云上落地一套轻量级的评测与治理方案。

────────────────────────────────────

二、 RAG 幻觉治理的三大核心指标

在工业界评估 RAG 系统的性能时,通常引入 RAG Triad(三元组评测标准):

1. 上下文相关性(Context Relevance):

*指标含义*:向量数据库检索出来的文档,和用户提问到底有没有关系?(防止垃圾召回)。

1. 忠实度/真实性(Faithfulness / Groundedness):

*指标含义*:大模型生成的回答,是不是完全基于检索出来的文档?(防止凭空捏造、幻觉产生)。

1. 答案相关性(Answer Relevance):

*指标含义*:大模型生成的回答,是不是直接回答了用户的提问?(防止答非所问)。

────────────────────────────────────

三、 核心代码实战:编写一个自动化 RAG 幻觉检测与评测脚本

以下是一个精简的 Python 实现脚本,模拟了利用“大模型当裁判(LLM-as-a-Judge)”来自动检测生成结果是否存在幻觉:

import json
import requests

# ==================== 1. 配置华为云大模型裁判接口 ====================
MODEL_API_URL = "https://your-modelarts-endpoint-url.com/v1/chat/completions"
API_TOKEN = "您的华为云-IAM-Token"


# ==================== 2. 定义“大模型裁判”评估函数 ====================
def evaluate_rag_faithfulness(
    user_query: str, retrieved_context: str, model_answer: str
) -> dict:
    """利用大模型作为裁判,评估生成答案对检索上下文的“忠实度”(是否产生幻觉)"""

    judge_prompt = f"""
    你是一个严苛的 AI 医疗/金融合规审计专家。请根据【用户问题】、【检索上下文】和【AI生成答案】,评估 AI 是否产生了幻觉(即回答中的关键事实是否超出了上下文的范围,或者是否捏造了信息)。
    
    【用户问题】:
    {user_query}
    
    【检索上下文】:
    {retrieved_context}
    
    【AI生成答案】:
    {model_answer}
    
    请严格输出一个 JSON 格式的结果(不要包含任何 markdown 标记),包含以下两个字段:
    1. "is_hallucination": 布尔值(true 表示有幻觉或违背上下文,false 表示忠实可靠)。
    2. "reason": 简短的中文评语解释。
    """

    headers = {"Content-Type": "application/json", "X-Auth-Token": API_TOKEN}

    payload = {
        "model": "your-model-name",
        "messages": [{"role": "user", "content": judge_prompt}],
        "temperature": 0.0,  # 裁判必须客观,温度设为 0
    }

    try:
        response = requests.post(
            MODEL_API_URL, headers=headers, json=payload, timeout=30
        )
        if response.status_code == 200:
            result_text = (
                response.json()["choices"][0]["message"]["content"]
                .strip()
                .replace("```json", "")
                .replace("```", "")
            )
            return json.loads(result_text)
        else:
            return {
                "is_hallucination": True,
                "reason": "评测接口调用失败",
            }
    except Exception as e:
        return {"is_hallucination": True, "reason": f"解析异常: {str(e)}"}


# ==================== 3. 生产环境安全护栏(Guardrails)拦截 ====================
def safe_rag_pipeline(user_query: str, retrieved_context: str, raw_answer: str):
    print(f"用户提问: {user_query}")
    print(f"检索上下文: {retrieved_context}")
    print(f"AI 原始回答: {raw_answer}\n")

    print("=== 正在运行华为云安全护栏与幻觉检测 ===")
    eval_result = evaluate_rag_faithfulness(
        user_query, retrieved_context, raw_answer
    )

    if eval_result.get("is_hallucination", True):
        print("🚨【安全拦截触发】检测到大模型可能存在幻觉或事实不符!")
        print(f"拦截原因: {eval_result.get('reason')}")
        return "很抱歉,根据当前企业知识库,我无法确凿地回答您的这个问题,建议您咨询人工客服。"
    else:
        print("✅【安全通过】未检测到幻觉,回答完全忠实于知识库。")
        return raw_answer


# ==================== 4. 主程序测试 ====================
if __name__ == "__main__":
    # 模拟场景
    query = "我们公司的年假规定是几天?"
    context = (
        "公司规章制度第 5 条:所有正式员工转正后每年享有 10 天带薪年假。"
    )

    # 案例 A:大模型正常回答(无幻觉)
    answer_good = "根据公司规章制度,正式员工每年享有 10 天带薪年假。"
    print("--- 测试用例 A(正常回答) ---")
    final_output_a = safe_rag_pipeline(query, context, answer_good)
    print(最终输出: f"{final_output_a}\n")

    # 案例 B:大模型胡编乱造(幻觉)
    answer_bad = "公司规定每年有 15 天年假,并且病假期间带薪全额发放。"
    print("--- 测试用例 B(幻觉回答) ---")
    final_output_b = safe_rag_pipeline(query, context, answer_bad)
    print(f"最终输出: {final_output_b}")

────────────────────────────────────

四、 生产环境落地防线架构建议

要在企业级生产环境中彻底驯服大模型,建议在华为云上搭建双重防御体系:

1. 输入端护栏(Input Guardrails):

在用户输入请求时,通过敏感词过滤、提示词注入(Prompt Injection)检测拦截恶意攻击。

1. 输出端护栏(Output Guardrails):

采用上文的代码逻辑,利用“裁判模型”或确定性规则引擎,在答案返回给用户前进行最后一道安全扫描。若发现幻觉,立即触发兜底回复,保护企业品牌声誉。

────────────────────────────────────

五、 总结

通过今天的【番外篇之三】实战,我们探讨了如何利用 RAG 三元组指标与大模型裁判机制,治理令人头疼的 AI 幻觉。

大模型的强大伴随着不确定性。唯有建立科学的评测体系与坚固的安全护栏,AI 才能真正从“实验室玩具”蜕变为能为企业创造巨大价值的“生产力工具”。

如果你在搭建 RAG 评测集或编写 Guardrails 拦截规则时遇到问题,欢迎在评论区留言交流!

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。