基于大模型的企业培训系统中的【AI 出题】功能构建与实现

一、背景与挑战

在员工培训场景中，考试出题长期面临三重困境：效率瓶颈——一套高质量试卷的命制需要数天甚至数周；质量波动——命题质量高度依赖个人经验，难以标准化；动态适配难——业务知识更新快，题库更新速度跟不上变化。

大语言模型（LLM）的兴起为这一困境提供了技术路径，但简单调用LLM生成题目远不够用——通用模型缺乏企业私域知识，生成内容易“幻觉”，且难以控制题目难度与质量。本文将系统讲解如何结合 RAG（检索增强生成） 与岗位知识库，构建一个可落地的智能出题引擎，覆盖从知识召回、Prompt设计、质量校验到难度自适应的完整链路。

二、整体架构设计

智能出题引擎的核心逻辑是：先检索、再生成、后校验。

┌─────────────────────────────────────────────────────────────┐
│                    智能出题引擎工作流                         │
├─────────────────────────────────────────────────────────────┤
│  1. 知识解析与入库                                           │
│     PPT/PDF/Word → 文本抽取 → 切片 → 向量化 → Qdrant/ES     │
│                                                             │
│  2. 考题生成（RAG + Prompt）                                 │
│     岗位/知识点指定 → 语义检索 → 上下文组装 → LLM生成        │
│                                                             │
│  3. 质量校验                                                 │
│     格式校验 → 内容校验 → 多模型投票校验                     │
│                                                             │
│  4. 难度自适应                                               │
│     IRT参数估计 → 难度分级 → 按需组卷                        │
└─────────────────────────────────────────────────────────────┘

技术选型参考：基于LangChain4j + Qdrant + Elasticsearch + Neo4j的多模态检索架构已在EduMate等开源项目中得到验证。对于企业快速落地，也可采用Dify等低代码平台搭建知识库API层，再用Python脚本串联生成逻辑。

三、关键环节一：RAG + 岗位知识库构建

3.1 知识文档处理流水线

企业培训材料通常散落在PPT、PDF、Word中，需要先完成文本化与结构化：

# PPT文本提取（基于python-pptx）
from pptx import Presentation
import os

def ppt_to_text(input_path):
    prs = Presentation(input_path)
    text_content = []
    for slide in prs.slides:
        for shape in slide.shapes:
            if hasattr(shape, "text"):
                text_content.append(shape.text)
    return "\n".join(text_content)

# 批量处理
def batch_convert(input_folder, output_folder):
    for filename in os.listdir(input_folder):
        if filename.endswith(('.pptx', '.ppt')):
            text = ppt_to_text(os.path.join(input_folder, filename))
            with open(os.path.join(output_folder, f"{filename}.txt"), 'w', encoding='utf-8') as f:
                f.write(text)

3.2 语义切片与向量化

原始文档需切分为语义完整的“知识块”，便于后续精准检索。切片策略直接影响检索召回质量——建议采用多级语义拆分（标题→副标题→段落），而非机械按字符截断，避免语义断裂。

# 基于标题层级的语义切片（简化示例）
def semantic_chunking(text, max_chunk_size=1000):
    chunks = []
    current_chunk = []
    current_size = 0

    for paragraph in text.split('\n\n'):
        # 检测是否为标题（简单启发式）
        if len(paragraph) < 50 and paragraph.endswith(('：', ':', '章', '节')):
            if current_chunk:
                chunks.append('\n'.join(current_chunk))
                current_chunk = []
                current_size = 0
        current_chunk.append(paragraph)
        current_size += len(paragraph)

        if current_size > max_chunk_size:
            chunks.append('\n'.join(current_chunk))
            current_chunk = []
            current_size = 0

    if current_chunk:
        chunks.append('\n'.join(current_chunk))
    return chunks

切片完成后，通过Embedding模型（如 text-embedding-v3）将文本块向量化，存入向量数据库（Qdrant/ES）。

3.3 检索策略：向量 + 关键词混合检索

单一向量检索可能遗漏精确术语（如制度条款编号）。混合检索策略（向量检索+BM25关键词检索）可显著提升召回精度。

def hybrid_retrieve(query, top_k=5):
    # 向量检索
    vector_results = vector_db.search(query, top_k=top_k*2)
    # 关键词检索（BM25）
    keyword_results = es.search(query, top_k=top_k*2)
    # 结果融合（RRF算法）
    return fuse_results(vector_results, keyword_results, top_k)

四、关键环节二：Prompt工程

Prompt是决定题目质量的核心杠杆。一份优秀的出题Prompt应包含角色定位、输出格式约束、质量标准、溯源要求四大要素。

4.1 出题Prompt模板

你是一个{岗位名称}培训考试出题专家，擅长基于专业材料设计高质量考题。

【知识材料】
{检索到的知识块内容}

【出题要求】
1. 生成{题目数量}道{题型}，题型包括单选题、多选题、判断题
2. 每道题必须包含以下字段：
   - question: 题干
   - options: 选项列表（判断题无需选项）
   - answer: 正确答案
   - source: 答案依据（标注来源文档和具体段落）
   - difficulty: 难度等级（easy/medium/hard）
   - bloom_level: 认知层次（记忆/理解/应用/分析/评价/创造）
3. 干扰项必须设计合理，来自常见易混淆点
4. 判断题的"错误"选项需说明错误原因

【输出格式】
严格按以下JSON数组格式输出，不要包含任何额外说明文字：
[
  {
    "id": "q001",
    "type": "single",
    "question": "...",
    "options": ["A. ...", "B. ...", "C. ...", "D. ..."],
    "answer": "A",
    "source": "{文档名} 第X章",
    "difficulty": "medium",
    "bloom_level": "应用"
  }
]

4.2 核心设计要点

溯源机制：要求LLM为每道题标注答案依据，这是企业场景的刚需——支持答案质疑时的“翻原文对质”。干扰项设计：明确要求“来自常见易混淆点”，避免无意义选项；认知层次映射：引入布鲁姆分类法，确保题目覆盖从“记忆”到“创造”的多层次能力考察。

五、关键环节三：题目质量校验

LLM生成内容天然存在幻觉风险，质量校验模块是工程落地的“安全阀”。

5.1 格式校验与去重

import json
import re

def parse_and_validate(raw_output):
    """从LLM回复中提取并校验题目"""
    # 提取JSON数组
    match = re.search(r'\[.*\]', raw_output, re.DOTALL)
    if not match:
        return []

    try:
        questions = json.loads(match.group())
    except json.JSONDecodeError:
        return []

    # 必填字段校验 + 去重
    required_fields = ['question', 'answer', 'source']
    seen_questions = set()
    valid = []

    for q in questions:
        q_key = q.get('question', '')[:50]
        if q_key in seen_questions:
            continue
        if all(k in q for k in required_fields):
            seen_questions.add(q_key)
            valid.append(q)

    return valid

5.2 多模型投票校验

对于高 stakes 的严肃考核场景，可采用多模型交叉校验机制——将生成结果同时送审多个LLM（如GPT-4o + Claude + 文心一言），投票判定题目逻辑性与准确性，不合格者自动优化或重生成。

六、关键环节四：难度自适应

难度自适应包含两个层面：题目本身的难度标定 和 按需组卷的难度调控。

6.1 基于IRT的难度参数估计

项目反应理论（IRT）通过难度（Difficulty）、区分度（Discrimination）、猜测系数（Guessing）三维参数描述题目特性。将历史答题数据作为训练样本，可对每道生成题进行难度标定。

6.2 难度可控的Prompt调控

生成阶段即可通过Prompt显式控制难度：

6.3 强化学习驱动的自适应组卷

更进一步的方案是引入强化学习框架——基于历史答题数据，训练策略网络动态选择题目，实现“千人千卷”的个性化评估。

# 简易组卷逻辑：按难度分布要求选题
def compose_paper(question_pool, difficulty_distribution):
    # difficulty_distribution: {'easy': 0.3, 'medium': 0.5, 'hard': 0.2}
    selected = []
    for level, ratio in difficulty_distribution.items():
        candidates = [q for q in question_pool if q['difficulty'] == level]
        count = int(len(question_pool) * ratio)
        selected.extend(random.sample(candidates, min(count, len(candidates))))
    return selected

七、完整实现代码

以下是一个端到端的出题引擎实现（基于Dify知识库API + Python）：

import requests
import json
import re
from typing import List, Dict

class QuizGenerator:
    def __init__(self, api_key: str, api_url: str = "https://api.dify.ai/v1/chat-messages"):
        self.api_key = api_key
        self.api_url = api_url

    def generate(self,
                 topic: str,
                 knowledge_base_id: str,
                 num_questions: int = 10,
                 difficulty: str = "medium",
                 question_types: List[str] = ["single", "judge"]) -> List[Dict]:
        """
        调用知识库API生成考题
        """
        prompt = self._build_prompt(topic, num_questions, difficulty, question_types)

        headers = {"Authorization": f"Bearer {self.api_key}"}
        payload = {
            "inputs": {"knowledge_base": knowledge_base_id},
            "query": prompt,
            "response_mode": "blocking",
            "user": "quiz_generator"
        }

        resp = requests.post(self.api_url, json=payload, headers=headers)
        raw_answer = resp.json().get("answer", "")

        return self._parse_response(raw_answer)

    def _build_prompt(self, topic, num, difficulty, types):
        type_desc = "、".join(types)
        return f"""请从知识库中提取关于{topic}的关键知识点，生成{num}道{type_desc}题。
        难度级别：{difficulty}
        要求：
        1. 每道题必须给出正确答案和答案依据
        2. 单选题提供4个选项，干扰项需合理
        3. 判断题错误项需说明原因
        4. 输出为严格JSON数组格式
        """

    def _parse_response(self, text: str) -> List[Dict]:
        match = re.search(r'\[.*\]', text, re.DOTALL)
        if not match:
            return []
        try:
            questions = json.loads(match.group())
            # 去重
            seen = set()
            result = []
            for q in questions:
                key = q.get("question", "")[:30]
                if key not in seen and all(k in q for k in ["question","answer","source"]):
                    seen.add(key)
                    result.append(q)
            return result
        except json.JSONDecodeError:
            return []

    def export_to_json(self, questions: List[Dict], filename: str = "quiz.json"):
        with open(filename, "w", encoding="utf-8") as f:
            json.dump(questions, f, ensure_ascii=False, indent=2)

# 使用示例
if __name__ == "__main__":
    generator = QuizGenerator(api_key="your-dify-api-key")
    questions = generator.generate(
        topic="安全生产规范",
        knowledge_base_id="kb_production_safety",
        num_questions=20,
        difficulty="medium",
        question_types=["single", "judge"]
    )
    generator.export_to_json(questions, "safety_quiz.json")

八、效果与展望

基于上述架构，已有企业实践将培训出题周期从12小时压缩至30秒，同时实现“一人一卷”的个性化考核和智能错题分析。

未来迭代方向包括：多模态出题（支持图表、流程图片的识别与出题）；持续学习闭环（基于答题数据自动更新难度参数和干扰项库）；Agent化出题（多智能体协作完成考点解析、题干创作、逻辑校验的端到端自动化）。

本文基于2025-2026年企业AI培训领域的前沿实践与学术研究及企学宝AI出题功能研发实践过程经验整理而成。