文心5.5 Flash Base 开源小记
【摘要】 今天看到百度正式开源了最新基座模型文心5.5 Flash Base，采用MoE架构，总参数量2800亿，每个Token只激活140亿参数。它用33.5万亿个Token完成预训练，预训练上下文最长128K，微调与推理阶段最长支持100万Token上下文。大参数配上稀疏激活，意味着推理成本可以压得更低，中小团队也有机会用上旗舰级底座。开源后大家可以直接拿去微调、部署和验证想法，模型能力的门槛又往...
今天看到百度正式开源了最新基座模型文心5.5 Flash Base，采用MoE架构，总参数量2800亿，每个Token只激活140亿参数。
它用33.5万亿个Token完成预训练，预训练上下文最长128K，微调与推理阶段最长支持100万Token上下文。
大参数配上稀疏激活，意味着推理成本可以压得更低，中小团队也有机会用上旗舰级底座。
开源后大家可以直接拿去微调、部署和验证想法，模型能力的门槛又往下走了一步。
对我来说，这类开源进展最实在的价值，是让学习和练手都有了现成的、够强的起点。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）