70 亿参数、10 亿激活、8GB 显存就能跑:OVHcloud 的 Olala mini 为什么值得一看
引言
2026 年 11 月 17 日,欧洲云厂商 OVHcloud 宣布推出自己的首个大模型家族 Olala,首发成员是 Olala mini 7A1B。在 Qwen4-Max、GPT-6.2 同日发布的热闹里,它显得很安静:总参数仅 70 亿,却把"稀疏专家 + 混合注意力"两条路线同时推到了很极端的位置。更有意思的是,它来自一家云基础设施公司,而不是传统的模型实验室。
技术看点一:256 个专家,每次只用 10 亿参数
据 OVH 官方新闻稿,Olala mini 是 MoE(混合专家)架构:总参数约 70 亿,每个 token 只激活约 10 亿参数,每层有 256 个专家,权重格式为 BF16。"7A1B"的命名即"7B 总量、1B 激活"。
256 个专家对 70 亿的小模型来说切得很细:每个专家都非常小,路由器可以更精细地组合"知识碎片"。好处是推理时的计算量和显存带宽压力只相当于一个 1B 级稠密模型,而总容量保持在 7B 级。代价是路由负载均衡更难训练,这也是小型 MoE 过去不常见的原因。
技术看点二:Differential-TPA 与 Mamba-3 的混合注意力
它的注意力层把 Differential-TPA 与 Mamba-3 结合起来。按公开的方法名理解(新闻稿未展开细节,具体结构请以其技术报告为准):
- Mamba-3 属于状态空间模型(SSM)家族,推理时维持固定大小的状态,对长序列的内存开销几乎不随长度增长;
- Differential 注意力通过两组注意力图相减来抑制噪声;TPA 一般指张量积注意力,用低秩分解压缩 KV 缓存。
把"线性复杂度的 SSM 层"与"保留精确召回能力的压缩注意力层"混用,是 2026 年小模型的常见思路:SSM 负责便宜地处理大部分序列,少量注意力层负责精确检索。目前上下文窗口为 32K,官方称 v1.1 将在年底前扩展到 128K,并增强数学推理。
为什么重要:端侧与成本
官方给出的部署数字很直观:最低 8GB 显存的 GPU 即可运行,在 RTX A4500 上约 160 token/s;甚至在普通 CPU 上也能达到约 50 token/s。这些是厂商自报数据,尚无独立复现。
已有一个落地案例:搜索引擎 Qwant 已将其用于"快速回答"功能,据 OVH 称响应快 20%,运行成本降为原来的三分之一。这类"高频、短回答、低延迟"的场景,正是小而稀疏的模型最能发挥价值的地方。
开放性与"主权 AI"的背景
Olala mini 将以 Apache 2.0 协议在 Hugging Face 开源,同时发布权重、预训练基座、技术报告以及 AI Act 合规文档。训练使用了欧洲三台公共超算 Jupiter、MeluXina 和 Jean Zay(GH200、A100、H100 GPU),算力补贴折合约 700 万欧元。OVH CEO Octave Klaba 的说法很直白:不能指望某些实验室永远开源模型,而训练成本三年间已下降到原来的二十分之一,自研模型可以做到盈利。后续 v2.0 计划超过 1000 亿参数,面向企业智能体、云运维和网络安全。
结语
Olala mini 不是榜单刷新者,它的意义在于方法论:用极细粒度的 MoE 加线性/压缩注意力,把一个"能干活的智能体模型"压进 8GB 显存,并且连合规文档一起开源。官方正式发布会在 11 月 19 日的 OVHcloud AI Summit,届时的技术报告与第三方评测,才能验证这些数字是否站得住。
- 点赞
- 收藏
- 关注作者
评论(0)