**百度 ERNIE-5.5-Flash 采用 280B 稀疏 MoE** `已核查 2-0`
【摘要】 百度发布 ERNIE-5.5-Flash-Base，一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 语言模型，从头在 33.5T tokens 上预训练，训练上下文最长 128K。极低的激活参数占比是它控制推理成本的关键，也让 280B 级模型具备更高的部署可行性。 [2]
百度发布 ERNIE-5.5-Flash-Base，一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 语言模型，从头在 33.5T tokens 上预训练，训练上下文最长 128K。极低的激活参数占比是它控制推理成本的关键，也让 280B 级模型具备更高的部署可行性。 [2]
【版权声明】本文为华为云社区用户原创内容，未经允许不得转载，如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）