百度开源文心 5.5 Flash Base：约 2800 亿参数 MoE 基座模型，权重全量开放下载

11月5日，百度发布并开源基座模型文心 5.5 Flash Base，预训练终点整套权重开放下载。作为基座模型，它面向希望在开源大模型基础上做二次开发的开发者与研究者。

核心参数一览

• 架构：稀疏 MoE（混合专家）架构
• 总参数：约 2800 亿
• 单次推理实际激活参数：约 140 亿
• 预训练数据：约 33.5 万亿 tokens
• 训练最长上下文：12.8 万 tokens
• 微调与推理最高支持：约 100 万 tokens

稀疏 MoE：大参数量，低推理成本

文心 5.5 Flash Base 采用稀疏 MoE 架构，总参数约 2800 亿，但每次推理实际激活的参数约 140 亿，仅为总参数的约二十分之一。这种稀疏激活的设计，让模型在保持大参数量带来的能力上限的同时，把单次推理的计算开销控制在更低的水平，对部署成本也更友好。

长上下文是主要看点

训练阶段的最长上下文为 12.8 万 tokens，而微调与推理最高支持约 100 万 tokens。这一跨度意味着，开发者可以在微调与推理阶段处理更长的文档、代码库或多轮对话历史，适合长文档理解、长程智能体任务等场景。

基准表现：官方口径，待第三方复测

百度称，该模型在知识、推理、数学、代码、多语言、长上下文等多项基准上，刷新了同尺寸模型的最好成绩。需要说明的是，这是官方基准口径，相关结论仍待第三方复测验证，实际选型时建议结合自身任务做实测对比。

开源带来的实际价值

预训练终点整套权重开放下载，意味着开发者可以直接拿到基座模型做微调、评测与部署，而不必从零开始训练。对于需要长上下文能力的团队，这提供了一个新的开源基座选择。

小结

文心 5.5 Flash Base 的发布，把约 2800 亿参数的稀疏 MoE 基座模型与约 100 万 tokens 的长上下文支持带进了开源生态。模型能力究竟如何，还要看后续的第三方评测与真实场景反馈。