长上下文的内幕：模型如何"记住"两百万字

摘要：从几千到百万级 Token，模型上下文窗口在两年里扩大了数百倍。但这背后的技术不是一句"堆算力"能概括的：位置编码如何扩展、注意力如何避开平方爆炸、为什么"标称长度"和"有效长度"是两回事。本文拆解长上下文的技术内幕，并给出使用长上下文的正确姿势。

一、上下文窗口为什么难做

Transformer 的自注意力机制有个先天缺陷：每个 Token 都要和所有其他 Token 计算关联度。这意味着两件事：

• 计算量随长度平方增长：上下文翻倍，注意力计算量翻四倍；
• 位置编码要"认识"任意远的位置：模型在训练时只见过一定范围的位置编号，推理时遇到从未见过的大编号，表现会崩。

再加一个现实问题：训练语料里真正需要超长程关联的样本稀少，模型"见过"长文档不等于"会用"长文档。这三件事分别对应长上下文技术的三个战场：位置编码、注意力效率、训练方法。

二、位置编码：给 Token 发的门牌号

模型需要知道每个 Token 在序列中的位置，这个信息由位置编码提供，主流方案是旋转位置编码（RoPE）——用旋转变换把位置信息注入注意力计算。

问题在于：直接用训练时见过的位置范围去推理更长的序列，就像让一个只见过 1 到 100 号楼牌的快递员去送 1000 号——他不知道该按什么规律理解这些编号。解决思路都是教会模型"门牌号的缩放规律"：把位置编号等比压缩进已见过的范围（位置插值一族方法），或对高频低频分量采用不同的缩放策略。配合在长文本上的继续训练，模型就能把"百级"的位置规律外推到"百万级"。

工程上你不需要实现这些算法，但需要知道它的存在带来的一个结论：**上下文长度是训练出来的能力，不是推理时的开关。**一个宣称支持百万 Token 的模型，如果没在百万级数据上充分训练过，长度的数字再大也只是参数表上的装饰。

三、注意力效率：绕开平方爆炸

平方复杂度在百万 Token 下是天文数字，纯暴力计算不可行。工程上的三大支柱：

FlashAttention 一族：不改变注意力数学，改变它的计算方式——分块计算、在线归并 Softmax，让巨大的注意力矩阵从不落盘显存。显存从平方级降到线性级，速度还更快。这是所有长上下文推理的地基。

稀疏与分层注意力：让每个 Token 不再关注全部历史，而是关注"局部邻居 + 少量全局要点"（滑动窗口 + 块稀疏一类设计），把平方压成近似线性。代价是可能漏掉某些远程关联，各家模型在稀疏模式设计上各有取舍。

KV Cache 的极限压缩：长上下文真正的显存压力来自 KV Cache（其账在推理优化那篇算过）。除量化外，更激进的做法是KV 蒸馏与淘汰——识别哪些历史 Token 的 KV 已经不再重要，压缩或丢弃。这带着一点风险：丢错了，模型就"忘了"。

顺带一提，检索增强（RAG）本质上也是一种"注意力稀疏化"——用检索器预先筛出相关的少数 Token 让模型关注。所以前沿的架构趋势是两者合流：长上下文与检索不是对手，是同一问题的两种解法。

四、“迷失在中间”：能力上的暗礁

把技术做齐了，模型能"装下"百万 Token 了，但还有最后一道坎：有效使用。大量评测反复证实一个现象——把关键信息埋在超长上下文的不同位置，模型对开头和结尾附近的利用最好，对中段信息的利用率显著下降。这就是"迷失在中间"（Lost in the Middle）。

它不是 Bug，而是注意力机制与训练分布的自然结果：模型在训练中很少需要"从百万字文档的正中间掏出一条细节并顶住首尾内容的干扰"。所以标称长度和有效长度是两个数字——前者是"装得下"，后者是"用得好"。选购与评测模型时，要看多位置针插测试（在大文档的不同深度插入事实，考察能否召回）这类"有效长度"指标，而不是参数表上的标称值。

五、使用长上下文的正确姿势

给应用开发者的五条实战建议：

1. 能短则短。长上下文是能力下限的兜底，不是默认用法——塞得越满，越慢、越贵、越稀释。RAG 优先进相关内容，长上下文用于"确实需要全局通读"的任务（如整份合同的一致性审查）；
2. 重要信息放两端。指令放开头，关键结论或问题放结尾，中间留给"被扫读"的原始材料；
3. 给长文档加结构。带标题、分节、编号的长文档，检索与利用效果都优于同等字数的一坨纯文本；
4. 长文任务分步做。先让模型分段提炼要点，再对要点做最终综合——两轮小上下文，往往好过一轮巨型上下文，成本还更低；
5. 建立你自己的长文本评测。拿真实的业务长文档，把关键问题埋在不同深度，测你选的模型的真实有效长度——别信榜单，信你的文档。

六、结语

长上下文技术的进化，本质是给注意力机制"减负"的三重奏：**位置编码学会外推，注意力学会稀疏，KV Cache 学会遗忘。**三者叠加，才有了今天"一次读进一座图书馆"的能力。

但使用侧的清醒依然重要：装得下不等于用得好，用得好不等于用得起。**上下文窗口是模型的胃容量——胃口大是本事，什么都往里塞是浪费。**这一判断，也再次呼应了系列里反复出现的主题：在 AI 时代，克制与调度同样是竞争力。

本文是"前沿 AI 技术"系列第八篇。系列其他文章可在作者主页查看。欢迎在评论区交流。