122B 模型 64 分钟量化完:华为开源 MACaQ,把 4 比特量化做成“逐层流水线”
本地部署大模型的最大痛点之一是量化本身:传统方法要么需要整个模型进显存校准,要么耗时数小时。11 月 12 日前后,华为 Cloud & AI 实验室(huawei-csl)在 GitHub 开源了 MACaQ(Model Agnostic Calibrated Quantization),README 声称:仅用 32.5 GB 设备内存,64 分钟即可量化 1220 亿参数模型。项目为 Apache 2.0 许可,论文为 arXiv:2611.10649。
核心思路:逐层独立,流式处理
每个线性层独立处理、层间无依赖,因此量化时任意时刻只需一层驻留 GPU 内存——显存占用取决于最大的单层,而非整个模型。精度方面引入 Flip-Refinement:基于 Hessian 的坐标下降,贪心地把单个 FP4 编码挪到相邻可表示值,缩小与四舍五入量化的差距。同时保留在线激活变换以支持 W4A4。据报道转述论文,在 vLLM 中对 Qwen3-32B 的端到端额外开销约 2.3%。
“模型无关”:不止文本
- llama.cpp:文本模型 2/3/4 比特 GGUF
- vLLM:W4A4 或仅权重量化服务
- Diffusers:图像、视频、音频生成(FLUX.2-klein-4B、Wan2.2-TI2V-5B、Stable Audio 1.0),W4A4
- PyTorch:语音生成(Qwen3-TTS、Chatterbox Turbo),W4A4
另有 MACaQ-R:精修已有 GGUF 的权重编码,保留原生格式,可直接在标准 llama.cpp 运行。Qwen3.6-35B-A3B 上,同为 22.36 GB 的 Q4_K_XL,Unsloth 版 KL 散度 0.015731,MACaQ-R 为 0.013367(越低越好)。
数字怎么看
Qwen3.8-27B 在 vLLM 下相对 BF16:W4A4 预填充 2.33 倍、解码 2.58 倍,困惑度从 2.8463 升至 2.8994。约 2% 的困惑度代价换 2 倍以上吞吐,是 W4A4 的典型取舍。另称在 Llama-3-8B 上达到 MR-GPTQ、DuQuant++ 的最佳困惑度,量化时间缩短 11 倍。这些均为作者自报,待社区复现;W4A4 的收益也依赖硬件对 4 比特矩阵乘的支持。昇腾 W4A4 内核目前仍在 CANN 的 PR 阶段。
为什么重要
- 门槛下降:单卡、小时级处理百亿参数模型。
- 统一工具链:文本、图像、视频、语音同一套方法。
- 生态信号:量化正从一次性离线工序变成可快速迭代的工程环节。
结语
亮点在于“逐层独立”这一工程取舍,同时换来低内存、快速度和广覆盖。接下来值得看社区能否复现其对比结果。
- 点赞
- 收藏
- 关注作者
评论(0)