从黑盒统计到神经解构：机械式可解释性与表示工程的前沿演进

摘要

长久以来，深度神经网络一直被视为不可拆解的经验主义“黑盒”。传统的解释性方法（如梯度显著图、特征归因、注意力权重可视化）大多停留在输入与输出之间的表层相关性观测，无法解释模型内部表征的计算因果链条。随着模型参数规模的爆炸与高风险场景落地的严苛要求，机械式可解释性（Mechanistic Interpretability） 与 表示工程（Representation Engineering） 正推动 AI 研究从“统计学黑盒拟合”转向“逆向工程计算电路”。本文系统解构当前模型机理分析的前沿演进：聚焦特征叠加假设（Superposition Hypothesis）与稀疏自编码器（Sparse Autoencoders, SAE）对多义神经元的解耦，解析 Transformer 最小神经回路（Circuits）的因果剪枝，并探讨如何利用控制向量（Steering Vectors）在不重训权重的前提下实现模型行为的主动干预与对齐治理。

1. 理论根基：叠加假说（Superposition）与多义神经元困境

传统观点常假设单个神经元对应单一语义特征（如“特定词性”或“特定实体”）。然而实际观测表明，大模型表现出显著的多义性（Polysemanticity）——单个神经元可能在完全无关的语境下被激活。

1.1 几乎正交与特征叠加假设

• 特征数远超维度限制： 模型的隐层维度 $d$ 是有限的（如 $d = 4096$），但真实世界概念与语义组合数 $M \gg d$。在利用压缩表征最小化经验损失时，网络会倾向于在有限维度的向量空间中塞入大量“几乎正交（Nearly Orthogonal）”的特征向量，利用 Johnson-Lindenstrauss 引理容纳超额特征。
• 干扰与计算折中： 叠加使得单个神经元成为多个概念的线性投影集合，虽然提高了表征容量，但导致传统的逐神经元激活探针（Probing）彻底失效，形成宏观上的黑盒状态。

2. 表征解耦突破：稀疏自编码器（Sparse Autoencoders, SAE）

为了将叠加在稠密残差流（Residual Stream）中的复合特征分解为纯净的、人类可读的“单义特征（Monosemantic Features）”，稀疏自编码器成为了当前前沿研究的核心工具。

2.1 SAE 的数学架构与重构目标

SAE 作为一个无监督字典学习（Dictionary Learning）外挂网络，将模型的残差流激活向量 $x \in \mathbb{R}^d$ 投影至超高维稀疏特征空间 $f \in \mathbb{R}^D$（通常扩张倍率 $D / d \ge 16 \sim 128$）：

$$f(x) = \mathrm{ReLU}(W_{\text{enc}}(x - b_{\text{dec}}) + b_{\text{enc}})$$

$$\hat{x} = W_{\text{dec}}f(x) + b_{\text{dec}}$$

• 高维扩张与 $\ell_1$ 稀疏惩罚： 损失函数由重构误差（MSE）与稀疏性正则项（如 $\ell_1$ 范数或 Top-K 激活约束）共同构成，强制绝大多数潜变量为 0，仅让极少数语义高度聚焦的“原子概念”特征被激活。
• **单