1. 上下文工程

上下文工程并非简单的 “信息堆砌”，而是围绕 LLM 的 “理解能力边界”，解决五大核心问题:

• 信息筛选（选什么）;
• 空间利用（放多少）;
• 时序连贯（记多久）;
• 场景适配（合不合）;
• 目标对齐（对不对）。

最终实现 “以最小的上下文成本，最大化模型的任务效果”。其核心目标是：让 LLM 在 “有限的输入窗口” 内，获得 “足够精准、连贯、适配的信息”，从而输出符合预期的结果。

在生产级AI系统落地过程中，真正的限制因素并非模型的智能水平，而是上下文管理能力。随着对话持续延申、任务跨多个会话推进，以及智能代理需要基于数周的交互历史完成推理。AI工程的核心挑战已从: 选择模型，转变为：如何避免系统被自身上下文数据淹没。

当前大型语言模型（LLM）由于预定义的上下文长度，面临固有局限，这限制了它们在大量文本上下文中进行多跳推理的能力。虽然现有技术如检索增强生成（RAG）尝试通过外部信息来弥合这一差距，但当缺乏直接答案时，效果有限。

2. 检索与推理结合：动态上下文编辑用于长文本

论文《Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding》（检索与推理结合：动态上下文编辑用于长文本），主要解决当前大语言模型（LLM）因上下文窗口限制而难以在长文本中进行多跳推理（multi-hop reasoning）的问题。

• 图片内容解读：

将复杂问题分解为多个简单的子问题，并分步进行推理。具体步骤：

• 分段处理：由于文本非常长，首先将其分割成多个“文本块”，以便于管理。
• 交互式生成子问题：模型不直接回答最终问题，而是先生成一个子问题：“谁是 Serriadh 的母亲？”
• 提取事实：模型在文本块中查找并提取出事实：“Elfarran 是 Serriadh 的母亲。”
• 规划下一步：基于上一步的事实，模型生成下一个子问题：“谁是 Elfarran 的兄弟？”
• 最终答案：通过检索增强生成（RAG）或直接查询，得到最终事实：“Salan 是 Elfarran 的兄弟。” 从而推理出 Serriadh 的叔叔是 Salan。

2.1. 核心观点

1. 重新定义长文本推理：
   论文提出将长文本上下文视为一种可交互的外部知识库，而非必须一次性全部输入模型的静态序列。长文本上的多跳推理问题本质上等同于涉及多跳推理的知识编辑（Knowledge Editing）问题。

2. 动态上下文编辑（Dynamic In-Context Editing）：
   受知识编辑技术的启发，作者提出了一种新方法，通过动态地分解问题并交互式地检索和整合相关信息，使上下文受限的模型（如Llama2）能够执行复杂的多步推理。这种方法不需要修改模型参数或进行昂贵的微调。

3. 超越传统方法：

   • 优于直接扩展上下文窗口：传统的窗口扩展方法（如位置插值）在处理极长文本的多跳推理时仍会出现幻觉或准确率下降。
   • 优于传统RAG：传统的检索增强生成（RAG）通常直接根据原始问题检索，难以获取推理过程中所需的中间变量信息，导致无法回答隐含的多跳问题。
   • 性能表现：该方法在长文本多跳问答任务（LongBench）和变量追踪任务（Ruler）上，不仅显著优于现有的上下文扩展方法和传统RAG，甚至在某些任务上超越了拥有更大上下文窗口的商业模型（如GPT-3.5-Turbo-16k）。

4. 轻量级与即插即用：
   该方法是一种轻量级的解决方案，无需额外的参数更新或显存消耗，可在单张GPU上运行，并能轻松集成到现有的黑盒API或基于插值的扩展方法中。

2.2. 实现流程

该方法主要包含两个核心模块：规划模块（Planning Module）和检索模块（Retrieval Module），并通过两种具体的算法来实现。

2.2.1. 核心模块

• 规划模块(Planning)：

  • 功能：利用LLM的推理能力，将复杂的多跳问题 $Q$ 分解为一系列子问题（sub-questions）$q_1, q_2, \dots$。
  • 机制：这些子问题构成一个有向无环图（Directed Acyclic Graph DAG）或链式结构。模型根据原始问题和前一步的答案生成下一个子问题。
  • 目的：解决信息分散在长文本不同位置的问题，通过分步拆解来逐步获取所需知识。

• 检索模块(Retrieval)：

  • 功能：针对生成的每个子问题 $q_i$，从被切分成块（chunks）的长文本中检索最相关的片段。
  • 机制：
    1. 将长文本 $C$ 切分为多个长度小于模型上下文窗口 $L$ 的块 $\{c_1, c_2, \dots\}$。
    2. 使用语义相似度模型（如bi-encoder进行粗排，cross-encoder进行精排）计算子问题与各文本块的相似度。
    3. 选取Top-k个最相关的文本块，并按原文顺序拼接成上下文 $C_{q_i}$。

2.2.2. 具体算法实现

论文提出了两种基于上述模块的算法：

2.2.2.1. **算法一：带事实提取的迭代问答 **(Iterative QA with Fact Extraction)

• 流程：
  1. 初始化：将原始问题作为初始推理思维 $T$。
  2. 循环迭代：
     • 规划：LLM根据当前思维 $T$ 生成下一个子问题 $q_i$。
     • 检索：检索模块找到与 $q_i$ 最相关的文本块 $c^*_i$。
     • 事实提取：LLM阅读 $c^*_i$，提取能回答 $q_i$ 的具体事实 $f_i$（去除噪声）。
     • 更新：将子问题 $q_i$ 和提取的事实 $f_i$ 添加到推理思维 $T$ 中。
  3. 终止：当LLM判断推理完成或达到最大迭代次数时，基于最终的 $T$ 生成答案。
• 特点：显式地将检索到的上下文转化为简洁的事实，减少上下文窗口的占用，适合链式推理。

2.2.2.2. **算法二：知识约束解码 **(Knowledge Constrained Decoding)

• 流程：
  1. 规划：LLM先生成完整的推理步骤序列（Thoughts）。
  2. 约束修正：
     • 对于生成的每一步推理，检索模块获取相关上下文。
     • 利用检索到的知识对生成的步骤进行“约束解码”或直接修正。如果生成的步骤与检索到的事实冲突，则以检索到的事实为准进行更新。
  3. 生成：最终输出经过上下文知识修正后的连贯推理过程和答案。
• 特点：受知识编辑中的约束解码启发，确保生成的推理步骤严格忠实于原始长文本中的知识，实验表明该方法通常比算法一表现更好。

2.2.3. 整体工作流总结

1. 输入：长文本 $C$（被切分） + 复杂问题 $Q$。
2. 分解：模型将 $Q$ 分解为子问题序列。
3. 交互循环：
   • 针对子问题检索相关文本块。
   • 利用检索内容更新推理状态（提取事实或修正步骤）。
4. 输出：综合所有中间步骤，得出最终答案。

通过这种“检索+推理”的动态闭环，模型能够在不突破自身上下文窗口限制的情况下，有效处理数百万token级别的长文本多跳推理任务。

2.3. 策略 A（迭代事实提取）与 策略 B（知识约束解码）

以下是关于 策略 A（迭代事实提取） 与 策略 B（知识约束解码） 的详细对比总结表：

2.4. 举例

为了更直观地理解策略 A（迭代事实提取）和策略 B（知识约束解码）的区别，设定一个具体的长文本多跳推理任务，并模拟两种方法在解决该问题时的完整执行过程。

2.4.1. 场景设定

背景文档：一份长达 50 页的《2025 年全球科技公司并购与研发报告》（包含大量分散的子公司信息、研发项目细节和时间线）。
用户问题：

“收购了‘量子视界 (QuantumVision)’公司的母公司，其总部所在的城市，目前是否正在运行由该公司主导的‘深空探测’项目？”

这是一个典型的3 跳推理问题：

1. 跳 1：谁收购了“量子视界”？ -> 找到母公司（假设是“星际科技”）。
2. 跳 2：“星际科技”的总部在哪里？ -> 找到城市（假设是“新加坡”）。
3. 跳 3：在“新加坡”，是否有“量子视界”主导的“深空探测”项目在运行？ -> 验证事实并回答 Yes/No。

2.4.2. 策略 A：迭代事实提取 (Iterative QA with Fact Extraction)

核心逻辑：问一步 -> 检索 -> 提取事实 -> 存入上下文 -> 再问下一步。
特点：像侦探一样，手里拿着笔记本，每找到一个线索就记下来，然后基于这个线索去查下一个。

2.4.2.1. 执行过程演示

关键点：每一步的输入都严格依赖上一步提取的 Fact。如果第 1 步提取错了（比如把“战略合作”误提为“收购”），后面全错。

2.4.3. 策略 B：知识约束解码 (Knowledge Constrained Decoding)

核心逻辑：生成完整推理草稿 -> 逐步校验/修正 -> 输出最终结果。
特点：像写论文先列大纲，然后拿着原文逐句核对大纲里的每一个论点，不对就改，最后定稿。

2.4.3.1. 执行过程演示

关键点：模型先生成了一个包含错误假设的完整路径，但在解码过程中，通过实时检索对比，在第三步强行“掰回”了正确的逻辑。它拥有全局视野，知道自己在论证什么，并能自我纠错。

2.4.4. 两种过程的直观对比

• 论文地址：https://arxiv.org/abs/2406.12331