从外挂拼接走向原生统一：全模态架构（Omni-Modal）与离散扩散融合的前沿演进

摘要

过去以大语言模型（LLM）为核心的多模态系统，大多依赖“文本基座+外部模态编码器（如 CLIP、Whisper）+适配投影层（Projection Layers）”的后期拼接架构。这种离散外挂范式在跨模态高频流式交互、深层因果对齐以及低延迟端到端生成上面临固有的信息瓶颈与模态割裂。随着 GPT-4o、Gemini 等原生多模态架构的推进，人工智能正加速向**原生全模态端到端统一建模（Native Omnimodal & Any-to-Any）**演进。本文深入剖析当前多模态底层表征的技术演进路线：从拼接架构向统一词表连续/离散标记化（Tokenization）的跃迁，探讨自回归序列建模与连续扩散机制（Diffusion Transformers）的深层融合，并解构跨模态负迁移（Modality Interference）与长时序流式交互的核心工程瓶颈。

1. 架构演进：从后期拼接（Late Fusion）走向端到端原生全模态

传统多模态大模型本质上是“文本中心主义”的产物，图像、音频与视频仅被视为输入侧的特征前缀（Prompt Injection），缺乏底层物理与感知维度的双向统一。

1.1 外挂拼接架构的内生缺陷

1. 信息压缩瓶颈与高频特征丢失： 预训练视觉/音频编码器（如 ViT、Whisper）往往在大规模对比学习或离散分类任务上收敛，其输出向量高度抽象化，丢失了高频感知细节（如空间微拓扑、语音重音语调、呼吸停顿等）。
2. 非对称输入输出（Asymmetric I/O）： 拼接系统通常只能处理多模态输入，生成端仍依赖独立的扩散模型或 TTS 引擎进行后期渲染，导致生成过程无法享受基座模型的深层上下文推理能力，且端到端延迟通常在秒级以上。

1.2 原生统一架构的核心特征

原生全模态架构将文本、视觉流、立体声波形及触觉控制信号置于完全平等的表征地位，实现单网络内的**Any-to-Any（任意模态输入，任意模态原生输出）**流式生成。

2. 统一表征基础：多模态标记化（Unified Tokenization）

原生全模态系统的核心在于如何将具有完全不同数学特性的信号（离散的文本符号、连续的二维/三维视觉张量、时序高频连续音频波形）映射至同一计算网络。

2.1 连续表征与离散量化的权衡

• 残差矢量量化（Residual Vector Quantization, RVQ）： 音频领域（以 SoundStream、EnCodec 为代表）通过多级层叠量化码本，将连续时域波形压缩为分层离散 Token，在极低带宽下无损重构声学物理特征。
• 高维因果潜空间建模（Causal Spatiotemporal Latents）： 视觉与视频处理转向具备时间因果掩码的 3D-VAE，确保逐帧流式输入时模型无法“窥探未来帧”，满足实时全双工交互的需求。

3. 生成机制融合：自回归与扩散模型的协同范式

在原生多模态生成中，传统的单纯自回归（AR）或单纯扩散模型（Diffusion）均难以兼顾逻辑推理与感知生成质量。前沿系统正在采用两者互补的混合机制。

3.1 自回归高层决策 + 扩散低层渲染

• 分层生成解耦： 自回归骨干网络负责高层因果推理、逻辑结构编排以及跨模态粗粒度 Token 的预测；底层外挂轻量化连续扩散头（Diffusion Head），在单步或少步内将隐空间特征还原为高质量逼真像素与无损声学流。
• 自回归离散扩散（Discrete Flow Matching）： 消除离散 Token 与连续张量之间的转化鸿沟，直接在全域离散空间定义概率流路径，大幅降低生成推理阶段的采样步数。

                  ┌────────────────────────┐
                  │ 实时全双工多模态输入流  │
                  │ (Text, Audio, Video)   │
                  └───────────┬────────────┘
                              │
                              ▼
                  ┌────────────────────────┐
                  │ 因果多尺度 Tokenizer/   │
                  │ Causal VAE 潜空间映射  │
                  └───────────┬────────────┘
                              │
                              ▼
                  ┌────────────────────────┐
                  │ 原生全模态统一骨干网络  │
                  │ (Native Omni-Backbone) │
                  │ - 跨模态因果注意力机制 │
                  │ - 全模态共享长程上下文 │
                  └───────────┬────────────┘
                              │
             ┌────────────────┴────────────────┐
             ▼                                 ▼
   [高层离散文本/控制流]              [连续感知潜变量流]
             │                                 │
             │                                 ▼
             │                    ┌────────────────────────┐
             │                    │ 轻量化扩散/Flow Matching│
             │                    │ 声学与视觉底层无损渲染  │
             │                    └────────────┬───────────┘
             │                                 │
             ▼                                 ▼
   ┌──────────────────────────────────────────────────────┐
   │             全双工、极低延迟交互端到端输出             │
   └──────────────────────────────────────────────────────┘

4. 关键瓶颈与负迁移（Modality Interference）治理

将多模态数据混合注入统一网络训练并非线性增益过程，模型经常遭遇“模态干扰”与“能力坍塌”：

1. 模态竞争与梯度主导（Gradient Dominance）： 文本语料密度极高且逻辑结构严密，其梯度更新极易冲垮收敛较慢、噪声较大的视觉与音频特征空间，导致多模态联合训练后纯文本推理能力出现不可逆退化。
2. 数据长尾与非对称对齐： 图文配对数据与音画同步数据在互联网上存在海量噪声，图文语义弱相关性（如网页装饰图）往往迫使模型学到错误的伪因果关联。
3. 计算效率与动态上下文窗口： 音频与视频的高采样率会瞬间击穿注意力窗口（例如 1 秒视频可能产生数千个 Patch Tokens），迫使系统必须在架构层引入动态丢弃机制与跨尺度时空分层稀疏注意力。

5. 产业落地与未来演进方向

1. 真正的人机无缝实时交互（Empathic AI）： 原生全模态架构使模型能够直接从音频原始波形中感知用户的犹豫、颤抖、呼吸节奏与情绪起伏，配合无延迟打断（Interruption Handling），彻底告别传统“唤醒词-转文字-思考-合成语音”的机械断裂感。
2. 物理系统具身决策的大一统底座： 当多模态网络能够原生理解时间连续画面并直接预测关节动作 Token，智能体将拥有真正的物理常识推演能力，为复杂场景下的自动驾驶与工业机器人提供统一认知底座。
3. 端侧部署与端云协同架构重塑： 随着端侧 NPU 对矩阵运算与流式计算的深度优化，小型原生全模态模型（1B–4B）正走向手机、AR 眼镜等可穿戴设备，形成“边缘端处理高频连续音画感知，云端负责极深长逻辑规划”的协同体系。

6. 结语

原生全模态架构的成熟，标志着人工智能从单一的“符号语言处理器”蜕变为能够立体感知物理世界与人类意图的“通用认知体”。在跨模态统一表征、自回归与扩散模型的协同机制、以及端到端因果流式生成的共同驱动下，AI 正在撕下离散工具拼凑的标签，进入感知、理解与生成完全一体化的全智能交互新时代。