本地 LLM 调优
一、为什么要在本地跑 LLM?
在 ChatGPT、Claude 等 API 如此方便的今天,为什么还要折腾本地部署?几个真实场景:
- 数据合规:金融、医疗、政务等场景,数据不能出内网。
- 成本控制:高频调用下,API 费用惊人。本地推理的边际成本趋近于零。
- 定制化:需要用私有数据微调,或者对推理逻辑有深度控制需求。
- 延迟敏感:边缘设备、离线场景,无法依赖云端 API。
但本地部署的代价也很现实:硬件门槛高、调优链路长、效果不一定比得上商业 API。所以调优的核心目标就三个字——性价比:在有限硬件上,榨出尽可能高的推理质量和速度。
二、推理引擎选型:第一道分水岭
选错引擎,后面所有调优都事倍功半。目前主流的本地推理引擎:
| 引擎 | 核心优势 | 适用场景 | 硬件要求 |
|---|---|---|---|
| llama.cpp | 极致轻量,CPU/GPU 混合推理,GGUF 格式 | 个人开发、边缘设备、CPU 推理 | 极低,纯 CPU 也能跑 |
| Ollama | 封装 llama.cpp,一键拉模型,API 兼容 OpenAI | 快速原型、本地开发环境 | 低,同 llama.cpp |
| vLLM | PagedAttention,高吞吐,连续批处理 | 生产环境、高并发服务 | 高,需要 GPU |
| TGI | HuggingFace 官方,支持量化、流式输出 | 生产环境,与 HF 生态集成 | 高,需要 GPU |
| MLX | Apple Silicon 原生优化 | Mac M 系列芯片 | Mac only |
我的选型建议
- 个人开发 / 玩玩:Ollama,零配置上手,
ollama run llama3就跑起来了。 - Mac 用户:MLX 或 Ollama,利用 Apple Silicon 的统一内存架构。
- 生产服务(单卡):vLLM,吞吐量通常比 TGI 高 20-40%。
- 生产服务(多卡):vLLM 的张量并行,或 TGI 的流水线并行。
- 纯 CPU 场景:llama.cpp,没有之一。
# vLLM 启动示例(生产推荐)
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-2-7b-chat-hf \
--quantization awq \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.9 \
--max-model-len 4096
关键参数说明:
--gpu-memory-utilization:控制 vLLM 可用 GPU 显存比例,0.9 是经验值,留 10% 给系统和其他进程。设太高容易 OOM,设太低浪费显存。--max-model-len:最大上下文长度,直接影响 KV Cache 预分配的显存量。不要无脑设成模型最大值(如 128K),按实际业务需求设。
三、量化:用精度换速度的核心手段
量化是本地 LLM 调优中收益最直接的一步。把模型权重从 FP16(16 bit)压缩到更低精度,显存占用直降,推理速度提升,代价是微小的精度损失。
量化方案对比
| 方案 | 比特数 | 速度 | 精度 | 推荐度 |
|---|---|---|---|---|
| GGUF (Q4_K_M) | 4-bit | 快 | 较好 | ★★★★★ |
| AWQ | 4-bit | 快 | 好 | ★★★★★ |
| GPTQ | 4-bit | 快 | 好 | ★★★★ |
| INT8 | 8-bit | 中 | 很好 | ★★★ |
| FP16 | 16-bit | 慢 | 最好 | ★★ |
实操建议
1. 优先选 AWQ 或 GGUF Q4_K_M
实测在 Llama-2-7B 上,AWQ 相比 FP16:
- 显存占用:13GB → 4.5GB(降 65%)
- 推理速度:提升约 1.8x
- 精度损失:MMLU 下降约 1-2 个百分点,对话场景几乎无感
2. 不要盲目追求更低比特
3-bit 看起来省显存,但精度下降明显,尤其在数学推理和代码生成任务上。4-bit 是当前甜点位。
3. 自行量化(当社区没有你需要的量化版本时)
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
model = AutoAWQForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf")
quant_config = {"zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM"}
model.quantize(tokenizer, quant_config=quant_config)
model.save_quantized("Llama-2-7b-chat-awq")
原理简述:AWQ 不是简单地把权重均匀切分,而是先观察激活值的分布,对"重要"的通道保持更高精度,不重要的通道激进压缩。所以它比朴素 4-bit 量化的精度损失小得多。
四、硬件适配:量力而行
GPU 选择
| 显卡 | 显存 | 适合模型规模(4-bit) | 备注 |
|---|---|---|---|
| RTX 3060 12G | 12GB | 7B-8B | 入门首选 |
| RTX 4060 Ti 16G | 16GB | 7B-13B | 性价比之王 |
| RTX 4090 | 24GB | 13B-34B | 消费级天花板 |
| A100 40G | 40GB | 34B-70B | 生产级 |
| A100 80G | 80GB | 70B+ | 大模型标配 |
经验公式(4-bit 量化):所需显存 ≈ 模型参数量 × 0.7GB + 上下文缓存
例如 7B 模型 4-bit 量化:7 × 0.7 ≈ 4.9GB 模型权重,加上 KV Cache 和激活值,实际占用约 6-8GB。
CPU 推理优化
没有 GPU 也能跑,但要调对参数:
# llama.cpp CPU 推理
./main -m model.gguf -n 512 -t 8 -c 2048 --temp 0.7
# -t 8 : 8 线程(设为物理核心数,不要用超线程数)
# -c 2048 : 上下文长度,越大越吃内存
CPU 推理三个提速技巧:
- 线程数 = 物理核心数:超线程对推理几乎无益,反而增加调度开销。
- 开启 BLAS 加速:编译 llama.cpp 时链接 OpenBLAS 或 Apple Accelerate。
- 减少上下文长度:CPU 推理瓶颈在内存带宽,上下文越长越慢。
Mac Apple Silicon
M 系列芯片的统一内存架构是天然优势——"显存"就是内存,不存在数据搬运:
pip install mlx-lm
python -m mlx_lm.generate \
--model mlx-community/Llama-3-8B-Instruct-4bit \
--prompt "解释一下什么是注意力机制" \
--max-tokens 512
M2/M3 Max 64GB 统一内存可以跑 70B 4-bit 量化模型,这在同等价位的 PC + GPU 方案下几乎不可能。
五、上下文窗口优化:被忽视的性能杀手
很多人调了量化、换了引擎,推理还是慢——问题往往出在上下文长度。
为什么上下文长度影响巨大?
LLM 推理的注意力机制是 O(n²) 复杂度(n = 序列长度)。上下文从 2K 增到 8K,注意力计算量增 16 倍。再加上 KV Cache 的线性增长,长上下文是显存和速度的双重杀手。
优化策略
1. 按需设置,不要贪大
--max-model-len 4096 # 聊天场景 4K 够用
# 而不是
--max-model-len 32768 # 除非你真的需要处理长文档
2. KV Cache 量化
vLLM 支持对 KV Cache 做 INT8 量化,显存占用减半,速度损失很小:
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-2-7b-chat-hf \
--quantization awq \
--kv-cache-dtype int8
3. 前端层面做上下文管理
最有效的优化是不把不必要的内容塞进上下文:
- 对话历史截断:只保留最近 N 轮
- 检索增强(RAG):用向量检索找到相关片段,而不是把整个文档塞进去
- 摘要压缩:对早期对话做摘要,用摘要替代原始长文本
def truncate_history(messages, max_messages=10):
"""保留系统提示 + 最近 N 轮对话"""
system = [m for m in messages if m["role"] == "system"]
non_system = [m for m in messages if m["role"] != "system"]
return system + non_system[-max_messages:]
六、推理参数调优:让输出质量上一个台阶
模型选对了,参数没调好,效果照样差。
Temperature(温度)
temperature = 0.0 → 确定性输出,适合代码生成、数据抽取
temperature = 0.3 → 低随机性,适合翻译、摘要
temperature = 0.7 → 平衡点,通用对话默认值
temperature = 1.0+ → 高随机性,适合创意写作、头脑风暴
我的默认参数组合
# 通用对话
{"temperature": 0.7, "top_p": 0.9, "max_tokens": 1024}
# 代码生成
{"temperature": 0.0, "top_p": 1.0, "max_tokens": 2048}
# 创意写作
{"temperature": 0.9, "top_p": 0.95, "max_tokens": 2048}
Repetition Penalty(重复惩罚)
本地小模型(7B 以下)容易陷入重复循环,加一点重复惩罚能有效缓解:
{"repetition_penalty": 1.1} # 1.0 = 不惩罚,1.1-1.3 常用
注意:重复惩罚设太高(>1.3)会导致输出不连贯,模型会刻意避开常用词,产生怪异文本。
七、微调:让模型懂你的业务
当基座模型的知识或风格不满足需求时,微调是下一步。但全参数微调成本极高,LoRA(Low-Rank Adaptation) 是本地微调的事实标准。
LoRA 的核心思想
不训练全部参数,而是在每层权重旁边加一个低秩矩阵 ΔW = A × B(A 是 d×r,B 是 r×d,r 远小于 d)。训练参数量从数十亿降到几百万,显存需求大幅下降。
QLoRA:在量化模型上做 LoRA
QLoRA = 4-bit 量化基座 + LoRA 微调,是本地微调的终极方案:
from transformers import AutoModelForCausalLM, TrainingArguments
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer
from datasets import load_dataset
# 1. 加载 4-bit 量化基座
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b-chat-hf", load_in_4bit=True, device_map="auto"
)
model = prepare_model_for_kbit_training(model)
# 2. 配置 LoRA
lora_config = LoraConfig(
r=16, lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05, bias="none", task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)
# 3. 训练
training_args = TrainingArguments(
output_dir="./lora-output", num_train_epochs=3,
per_device_train_batch_size=4, gradient_accumulation_steps=4,
learning_rate=2e-4, fp16=True, save_steps=100, logging_steps=10,
)
trainer = SFTTrainer(
model=model, train_dataset=load_dataset("your_dataset")["train"],
args=training_args, peft_config=lora_config,
)
trainer.train()
model.save_pretrained("./lora-output") # LoRA 权重通常只有几十 MB
LoRA 调优经验
| 参数 | 作用 | 调优建议 |
|---|---|---|
r(秩) |
决定可学习容量 | 简单任务 r=8,复杂任务 r=32-64 |
lora_alpha |
缩放系数 | 通常设为 2×r |
target_modules |
对哪些层加 LoRA | 注意力层是基础,加上 MLP 层效果更好 |
learning_rate |
学习率 | 1e-4 到 5e-4,比全参数微调高 |
epochs |
训练轮数 | 2-5 轮,多了容易过拟合 |
数据质量 > 数据数量
1000 条高质量样本的效果往往好过 10000 条低质量样本。高质量数据的标准:
- 多样性:覆盖业务场景的各种情况
- 正确性:输出必须正确,模型会放大训练数据中的错误
- 格式一致:instruction 和 output 格式统一
八、系统级优化:容易被忽略的最后一公里
1. 批处理(Batching)
单条请求推理利用率低。vLLM 的连续批处理(Continuous Batching)可以在不增加延迟的情况下大幅提升吞吐:
--max-num-seqs 256 # 最大并发序列数
--gpu-memory-utilization 0.9 # 充分利用显存
2. 前缀缓存(Prefix Caching)
多个请求共享相同前缀(如相同的 system prompt)时,前缀缓存可避免重复计算:
--enable-prefix-caching
实测在 RAG 场景下,前缀缓存可减少 30-50% 的首 token 延迟。
3. 模型常驻
生产环境用 systemd 或 supervisor 让推理服务常驻,避免冷启动加载模型的数秒延迟。
九、监控与评估:调优闭环的最后一步
调优不是一次性的事,需要持续监控和评估。
推理性能监控
# 关键指标
metrics = {
"tokens_per_second": "生成速度,越高越好",
"time_to_first_token": "首 token 延迟,影响用户体验",
"gpu_utilization": "GPU 利用率,低于 60% 说明有瓶颈",
"gpu_memory_used": "显存占用,接近上限要警惕 OOM",
"queue_length": "请求队列长度,持续增长说明需要扩容",
}
输出质量评估
- 客观评测:用标准数据集(MMLU、HumanEval、GSM8K)跑 benchmark
- 主观评测:人工评分或用更强的模型做 LLM-as-a-Judge
- A/B 对比:调优前后用相同输入对比输出,确保没有退化
十、调优路线图:一张图总结
第一步:选引擎
├─ CPU/个人 → Ollama / llama.cpp
├─ GPU/生产 → vLLM
└─ Mac → MLX
第二步:选模型 + 量化
├─ 显存够 → FP16 或 INT8
└─ 显存紧 → AWQ / GGUF Q4_K_M(甜点位)
第三步:设上下文
├─ 按业务需求设 max-model-len
├─ KV Cache 量化
└─ 前端做历史截断 / RAG
第四步:调推理参数
├─ temperature / top_p 按场景设
└─ 小模型加 repetition_penalty
第五步:微调(如需)
├─ QLoRA + 高质量数据
└─ r=16, lr=2e-4, epochs=3 起步
第六步:系统优化 + 监控
├─ 批处理 / 前缀缓存 / 常驻
└─ 监控 tokens/s, GPU 利用率, 输出质量
- 点赞
- 收藏
- 关注作者
评论(0)