昇思MindSpore技术公开课·大模型专题（第二期） 昇思MindSpore技术公开课·大模型专题（第二期）
昇思MindSpore技术公开课大模型专题课程即将为大家带来第十讲——MoE。
Mixtral模型把MoE(mixture of experts) 结构的稀疏大模型再次带到主流大模型的视野当中，那么MoE结构是什么样的？相较于传统Transformer稠密结构有哪些优势？本节公开课将带领大家全面学习MoE的相关内容，并使用MindSpore进行演示。
昇思MindSpore技术公开课大模型专题课程即将为大家带来第十讲——MoE。
Mixtral模型把MoE(mixture of experts) 结构的稀疏大模型再次带到主流大模型的视野当中，那么MoE结构是什么样的？相较于传统Transformer稠密结构有哪些优势？本节公开课将带领大家全面学习MoE的相关内容，并使用MindSpore进行演示。