华为大咖说丨稀疏模式崛起，语料未来面临哪些挑战与机遇？

文章来源于时习知公众号

全文约2484字，阅读约需9分钟

DeepSeek的惊艳亮相让人们开始关注稀疏模式（如MoE，混合专家模型），这种模式不仅改变了AI模型的训练和推理方式，还对语料（知识）的管理和利用提出了新的挑战与机遇。接下来，笔者将从稀疏模式的特点分析出发，来探讨稀疏模式对于语料需求变化和RAG（Retrieval-Augmented Generation，检索增强生成）的影响。

PART.01 稀疏模式的崛起：从DeepSeek说起

DeepSeek的发布让稀疏模式（如MoE，混合专家模型）成为AI领域的热门话题。稀疏模式通过按需激活参数，显著降低了计算成本，同时提升了模型的灵活性和效率。这种转变不仅改变了AI模型的训练和推理方式，还对语料的管理和利用提出了新的挑战与机遇。

稀疏模式的核心思想是按需激活参数。与稠密模式不同，稀疏模式在每次推理或训练时只激活部分参数，而不是全部。这种设计可以显著降低计算成本，同时保持甚至提升模型性能。

◈ 稠密模式：所有参数都参与计算，模型“全功率”运行。

◈ 稀疏模式：只有部分参数被激活，模型“按需运行”。

举个例子：稠密模式就像一个全能选手，什么都会，但什么都得亲自上阵；而稀疏模式更像一个团队，每个成员（专家）各司其职，协同完成任务。

DeepSeek的成功展示了稀疏模式在高性能计算和知识管理中的巨大潜力。借助稀疏模式，DeepSeek不仅降低了计算成本，还提高了模型的灵活性和效率。这种成功为AI语料的未来管理提供了新的思路。

稀疏模式的架构

PART.02 稀疏模式给语料带来的挑战与机遇

稀疏模式对语料的管理和利用提出了新的挑战与机遇。以下是几个关键方面：

01 语料需求的多样性和专业性增强

在稀疏模式下，每个专家负责特定领域或任务，因此语料需要更加多样化和专业化。通过细分语料领域，可以提高模型的精准性和效率。

举个例子：在稠密模式下，语料像一个大杂烩，所有数据混在一起；而在稀疏模式下，语料更像一个分类清晰的图书馆，每个专家只关注自己领域的书架。

02 语料质量要求更高

稀疏模式下，每个专家只处理少量数据，因此语料的质量直接影响模型的表现。高质量的语料可以提高模型的性能和可靠性。

如果说稠密模式下，个别比较“水”的语料还可以“浑水摸鱼”，在稀疏模式下，这种领域内的错误（数据错误、标注错误）会在很大程度上使得最终效果大打折扣，因此，在稀疏模式下对语料质量提出了更高的要求。

03 语料的动态性和实时性需求增加

稀疏模型更适合处理动态变化的任务和数据，结合实时更新的语料库可以提高模型的实时性和准确性。

由于稀疏模式下专家知识切了块，技术上天然实现了小范围训练，因此可能没有办法借“模型”训练时间为接口提升更新知识的频率了。这就意味着对于以知识生产为主的组织需要面临更高频率的知识更新诉求。

04 长尾数据的更好利用

稀疏模型擅长处理长尾数据（即低频但重要的数据），因此语料需要特别照顾到冷门领域或罕见场景的数据。通过更好地利用长尾数据，可以提高模型的泛化能力。

05 多模态语料的需求增加

稀疏模型由于采用了专家各司其职的做法，更容易扩展到多模态任务（如文本、图像、音频），对于语料来说，要喂进去的可以包含更多多模态数据。

多模态是必然，但稀疏模式多大程度上加速多模态的知识吸收，现在还不得而知。

PART.03 稀疏模式对RAG的影响

先抛观点：稀疏模式的核心是通过按需激活参数（专家）来处理任务，这使得模型在特定领域的表现更加精准和高效。这种特性可能会在一定程度上降低大模型对RAG的依赖，但并不会完全取代RAG。

01 稀疏模式是否会降低大模型对RAG的依赖？

1）稀疏模式的优势：内生智能的提升

领域专家化：稀疏模式通过多个专家（MoE）分别处理不同领域的任务，每个专家可以更专注于特定领域的知识。这种设计使得模型在特定领域的表现更加精准，减少了对外部知识库的依赖。

长尾知识的更好利用：稀疏模式擅长处理长尾数据（低频但重要的知识），这使得模型能够更好地利用训练语料中的冷门知识，减少对RAG知识包的依赖。

动态适应能力：稀疏模型可以快速适应新知识，通过持续学习（Continual Learning）将新知识整合到模型中，从而减少对外部知识库的实时检索需求。

结论：稀疏模式确实让大模型在特定领域的“内生智能”变得更强大，从而降低了对RAG的依赖

2）RAG的不可替代性

尽管稀疏模式提升了模型的内生智能，但RAG仍然有其独特的价值：

• 实时性：RAG可以动态检索最新的外部知识，而稀疏模型的训练语料通常是静态的，无法实时更新。
• 知识广度：RAG可以访问大规模的外部知识库，覆盖模型训练语料中未包含的领域或细节。
• 成本效益：将部分知识存储在外部知识库中，而不是全部存储到训练模型中，可以显著降低模型的计算和存储成本。

结论：稀疏模式虽然提升了模型的内生智能，但RAG在实时性、知识广度和成本效益方面的优势使其仍然不可或缺。

02 稀疏模式是否让知识训练到大模型变得更容易？

稀疏模式确实让知识训练到大模型的过程变得更加高效和灵活，以下是具体分析：

• 专家分工：稀疏模式通过多个专家分别处理不同领域的知识，这种模块化设计使得知识训练更加高效。每个专家只需要学习特定领域的知识，而不需要覆盖所有领域。
• 增量学习：稀疏模式支持增量学习，新增知识可以通过训练新的专家或调整现有专家来实现，而不需要重新训练整个模型。

03 稀疏模式与RAG的协同

尽管稀疏模式提升了模型的内生智能，但它与RAG并不是互相替代的关系，而是可以协同工作，发挥各自的优势：

1） 稀疏模式 + RAG：更强大的知识管理

内生智能 + 外部知识：稀疏模式通过内生智能处理高频和长尾知识，而RAG通过外部知识库补充实时和超领域知识。

动态更新：稀疏模式通过持续学习整合新知识，而RAG通过实时检索补充最新知识。

举个例子：在金融领域，稀疏模型可以处理常见的市场分析任务，而RAG可以实时检索最新的政策变化和市场动态。

2） 稀疏模式 + RAG：更高效的计算

按需激活：稀疏模式通过按需激活专家来降低计算成本，而RAG通过外部知识库减少模型的计算负担。

知识分层：高频知识由稀疏模型处理，低频和实时知识由RAG处理，实现知识的分层管理。

举个例子：在智能客服中，稀疏模型可以处理常见问题，而RAG可以检索罕见问题的最新解决方案。

✦✦✦ 

最后，大家认为稀疏模式下对于知识（语料）的影响还有哪些，可以在评论区发表你的观点哦~