全连续多模态：MultimodalFlow 把语言和视觉塞进同一个向量场

统一多模态模型一直卡在同一个问题上：语言天生是离散的符号，图像天生是连续的信号。把两者塞进一个模型，要么把图像也切成离散 token，要么让语言和图像各走各的生成路线。华中科技大学王兴刚团队联合地平线等机构提出的 MultimodalFlow（arXiv:2609.40362）选择了第三条路：干脆全连续，用一个 Flow Matching 向量场同时建模语言和视觉。

两条老路各自的代价

离散化路线用 VQ-VAE 把图像量化成码本 token，语言和图像终于能用同一个自回归目标训练，代价是量化瓶颈：细节在码本里被抹平，重建质量先天受限；想要更高保真度就得扩大码本，训练和推理成本跟着上涨。

混合路线则让语言用交叉熵做离散预测，图像用扩散或流模型做连续生成。两种目标、两套采样流程拼在一个模型里，架构割裂，跨模态对齐全靠后期缝合，训练时还要小心两种损失的权重配比。

超块：把文本和图像排进同一条序列

MultimodalFlow 的核心抽象是超块（hyperchunk）：文本块和图像都被组织成有序的连续超块，文本保留 token 顺序，图像保留空间结构。共享的 chunk-causal flow backbone 在这些超块上学习一个向量场，Flow Matching 负责把噪声一步步推向目标分布。联合注意力让两种模态互相看见对方，模态专属的前馈网络则各自处理本模态的细节——共享的是生成过程，分工的是特征变换。

训练时模型并行预测多个目标超块，推理时再按顺序逐个生成超块。这种并行训练、顺序推理的设计，既保留了自回归的因果结构，又让训练效率接近非自回归模型。

效果：小预算也能打

实例化模型 MF-1 只有 1.6B 参数，用 150B token 从零预训练。在 GenEval 和 DPG-Bench 上平均 82.8 分，在 VQAv2、MMBench 和 POPE 上平均 75.3 分，与用多得多数据训练的统一模型相当；在数据、优化器和参数量都对齐的条件下，还超过了同等预算的混合式与全离散架构。需要注意，这些分数出自论文自身的评测，跨论文横向比较时应留有余地。

对工程实践意味着什么

对做 Agent 和后端系统的人来说，全连续架构的吸引力不在分数，而在接口的统一：一种表示、一个目标、一套采样流程，意味着多模态能力可以像调用同一个生成服务那样接入，不必为文本和图像各维护一套推理管线。代价同样真实：连续表示的采样不如离散 token 那样容易做精细控制，温度、top-p 这类成熟的解码工具需要重新设计；长程一致性和可控生成仍是开放问题。MultimodalFlow 的代码和模型已经公开，值得在真实任务上验证它的承诺。

统一多模态的竞争正在从“能不能统一”转向“用什么统一”。离散化赢了工程便利，混合架构赢了单项性能，全连续路线赌的是生成过程本身的统一。更长远看，连续表示还可能让文本、图像、音频共享同一套生成原语，多模态不再是多个模型的拼接。如果这条路走得通，下一个多模态 Agent 的底座可能不再有模态之分。