122B 模型 64 分钟量化完:华为开源 MACaQ,把 4 比特量化做成“逐层流水线”

举报
why0603 发表于 2026/11/13 15:25:39 2026/11/13
【摘要】 本地部署大模型的最大痛点之一是量化本身:传统方法要么需要整个模型进显存校准,要么耗时数小时。11 月 12 日前后,华为 Cloud & AI 实验室(huawei-csl)在 GitHub 开源了 MACaQ(Model Agnostic Calibrated Quantization),README 声称:仅用 32.5 GB 设备内存,64 分钟即可量化 1220 亿参数模型。项目为 ...

本地部署大模型的最大痛点之一是量化本身:传统方法要么需要整个模型进显存校准,要么耗时数小时。11 月 12 日前后,华为 Cloud & AI 实验室(huawei-csl)在 GitHub 开源了 MACaQ(Model Agnostic Calibrated Quantization),README 声称:仅用 32.5 GB 设备内存,64 分钟即可量化 1220 亿参数模型。项目为 Apache 2.0 许可,论文为 arXiv:2611.10649。

核心思路:逐层独立,流式处理

每个线性层独立处理、层间无依赖,因此量化时任意时刻只需一层驻留 GPU 内存——显存占用取决于最大的单层,而非整个模型。精度方面引入 Flip-Refinement:基于 Hessian 的坐标下降,贪心地把单个 FP4 编码挪到相邻可表示值,缩小与四舍五入量化的差距。同时保留在线激活变换以支持 W4A4。据报道转述论文,在 vLLM 中对 Qwen3-32B 的端到端额外开销约 2.3%。

“模型无关”:不止文本

  • llama.cpp:文本模型 2/3/4 比特 GGUF
  • vLLM:W4A4 或仅权重量化服务
  • Diffusers:图像、视频、音频生成(FLUX.2-klein-4B、Wan2.2-TI2V-5B、Stable Audio 1.0),W4A4
  • PyTorch:语音生成(Qwen3-TTS、Chatterbox Turbo),W4A4

另有 MACaQ-R:精修已有 GGUF 的权重编码,保留原生格式,可直接在标准 llama.cpp 运行。Qwen3.6-35B-A3B 上,同为 22.36 GB 的 Q4_K_XL,Unsloth 版 KL 散度 0.015731,MACaQ-R 为 0.013367(越低越好)。

数字怎么看

Qwen3.8-27B 在 vLLM 下相对 BF16:W4A4 预填充 2.33 倍、解码 2.58 倍,困惑度从 2.8463 升至 2.8994。约 2% 的困惑度代价换 2 倍以上吞吐,是 W4A4 的典型取舍。另称在 Llama-3-8B 上达到 MR-GPTQ、DuQuant++ 的最佳困惑度,量化时间缩短 11 倍。这些均为作者自报,待社区复现;W4A4 的收益也依赖硬件对 4 比特矩阵乘的支持。昇腾 W4A4 内核目前仍在 CANN 的 PR 阶段。

为什么重要

  1. 门槛下降:单卡、小时级处理百亿参数模型。
  2. 统一工具链:文本、图像、视频、语音同一套方法。
  3. 生态信号:量化正从一次性离线工序变成可快速迭代的工程环节。

结语

亮点在于“逐层独立”这一工程取舍,同时换来低内存、快速度和广覆盖。接下来值得看社区能否复现其对比结果。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。