763B 的 DeepSeek 塞进 16G 显存之后，Strata 0.2.6 又盯上了你的内存

先抛数字：763B 参数、384 个专家的 DeepSeek V4.1-Flash-1017，现在在一张 12–16G 显存的消费级显卡上就能本地跑起来。支撑这件事的是两样东西：ISTA-DASLab 做的 IQ2_XXS 量化权重，以及本地 MoE 推理引擎 Strata。刚发布的 0.2.6 把优化重点从显存挪到了内存上，解码速度提升约 12–24%。

一个把模型 "拆开" 存放的推理引擎

Strata 是开发者 Niko1221（Niko Veit）的开源项目，C++/CUDA 编写，MIT 协议，在 GitHub 上已经攒了数万 Star。它不是又一个通用推理后端，而是专门围绕 MoE 模型的稀疏特性做文章。

MoE 的关键事实是：每个 token 只激活一小部分专家，大部分权重在这一步计算里根本用不上，把整个模型塞进显存纯属浪费。Strata 用了三层存放：

• 高频使用的 "热专家" 缓存在显存里，直接参与计算；
• 全部权重放在系统内存；
• 低频部分，比如 DeepSeek 那块约 111GB 的 Engram 表，可以内存映射到 NVMe SSD 上，用到再调取。

引擎会持续统计每个专家的调用热度，动态更新缓存，对话时间越长命中率越高。对外它提供 OpenAI 和 Anthropic 两种兼容格式的本地 API（http://127.0.0.1:8080），Cursor、Claude Code 这类编码助手可以直接接进去，另外还内置了一个叫 DeepSeek Harness（DSH）的本地 Agent 前端。

0.2.6 的核心改动：内存够，就把专家全请进来

这次发布，App 和 Terminal 升到 0.2.6，DeepSeek 引擎和 Control 升到 0.1.51，Qwen 引擎维持 0.1.50 不变。最值得说的就是大内存优化。

规则很简单：当系统 RAM 在装下全部 CPU 侧专家之后还能富余 8 GiB，引擎会在加载阶段把所有专家一次性复制进内存，之后完全绕过按需调取的 demand store。这是个全有或全无的策略，不做部分载入。Windows 上还会额外检查内存加页面文件的提交空间，防止页面文件设得太小的机器中途被拖进换页。

代价在加载阶段。单张 R9700 载入 2.00 bpw 权重集，要从 34 秒拉长到约 55 秒，因为这一下要复制 108GB 数据。但输出结果和之前完全一致，慢的只是启动，不影响推理质量。

官方实测数据如下：

表格

其余更新比较碎，挑几条实用的：Windows 卸载程序现在会真正删干净，卸载前先停掉 App、host 和引擎进程，修掉了 0.2.5 的遗留问题；监控面板能正确忽略核显；DeepSeek 模型在界面上正确显示 8K 上下文，而不是默认的 32K；单 token 回复显示出荒谬 tok/s 的问题也修了。另外官方明确警告，AMD HIP 引擎在 WSL 下会挂起，AMD 用户直接用 Windows 原生版本。

763B 模型怎么缩到消费级硬件上

模型本体是 763B 参数、384 专家的稀疏 MoE。让它能压进消费级硬件的关键，是 ISTA-DASLab 发布的 GSQ-RCO 非均匀量化。这个团队此前做的 GPTQ，已经是行业标准。

GSQ-RCO 分两步走：GSQ（Gumbel-Softmax 量化）负责逐 tensor 的标量量化；RCO（黎曼约束优化）在给定的总体积预算下，为每个 tensor 分配合适的量化格式，而不是一刀切。

权重一共三档：

表格

硬件门槛大约是 12GB 显存加 46–64GB 内存。速度参考：RTX 3060 跑 IQ2_XXS 大约 8–10 tok/s；RTX 4080 Super 16G 配 128G 内存，新版下能到 16.7–22.7 tok/s。后一个数字看起来跨度不小，但配置是合理的：128GB 内存刚好够触发全专家载入路径，瓶颈不在显存。

上手流程

安装基本是一键化的。Windows 克隆仓库后双击 START-HERE.bat，Linux 运行 setup.sh 或 install.sh。安装器会自动检测显卡，引导你选模型和量化档位，权重下载支持断点续传。磁盘要预留 240–270GB，强烈建议放 SSD。

启动用 strata launch 或者桌面 App，然后在 http://127.0.0.1:8080 用浏览器界面，或者直接调 OpenAI 格式的 API。老用户升级更省事，App 内更新或终端跑 strata update，DeepSeek 引擎会在下次 launch 时自动从 0.1.50 升到 0.1.51。

两个必须知道的边界

第一，Strata 是专用框架，只对 Qwen3.8-Flash-Next、DeepSeek V4.1-Flash 这类特定 MoE 模型做深度优化，不是 llama.cpp 那种什么都能跑的通用后端。拿它跑 Llama 系列，支持很差，别白费功夫。

第二，2 bit 级量化虽然在基准测试上分数恢复得漂亮，但长链推理、冷门知识这类场景，仍然可能有感知得到的损失。内存和磁盘都宽裕的话，直接上 2.25 bpw，别省那点空间。

0.2.6 本质上是把 "大内存 + 单卡" 这条平民路线的最后一块短板补上了：以前大内存的优势没被吃干净，现在 RAM 够大，专家全部常驻，速度提升直接摆在台面上。装机或者升级时，内存预算值得往上加。