在免费 A10 GPU 上用 llama.cpp 跑起 Gemma 4 31B 的实践记录

最近在魔搭社区的免费 GPU Notebook（NVIDIA A10，24GB 显存）上部署了 Gemma 4 31B，记录一下过程和踩到的坑。

一、模型选择

31B 的 FP16 权重远超 24GB 显存，所以选用了 GGUF 格式的 Q4_K_M 量化版本，文件大约 18.3GB，刚好能全部放进显存。

二、编译 llama.cpp

实例访问 GitHub 很慢，我改为从 pip 下载 llama-cpp-python 的源码包，里面自带 llama.cpp 源码。开启 CUDA，并把计算架构设为 86（A10 对应 Ampere），只编译这一个架构能明显缩短编译时间。

三、启动服务

用 llama-server 把所有层都放到 GPU（-ngl 999），上下文设为 8192，监听 8000 端口，就得到一个兼容 OpenAI 接口的本地服务。实测显存占用约 22.2GB，生成速度约每秒 22 个 token。

四、踩坑

第一次测试时 max_tokens 只设了 80，返回内容是空的。原因是该模型会先输出推理过程，token 在推理阶段就用完了。把 max_tokens 调到几百以上就正常了。另外免费实例闲置一小时会自动停止，模型和编译产物放在持久化目录里，下次启动无需重新下载。

五、小结

对于 30B 级别的模型，4-bit 量化加 llama.cpp 是在单张 24GB 显卡上的实用方案，速度足够日常对话和小规模测试使用。