在本地部署大语言模型(LLM):从零开始的实战指南
硬件需求:先看看你的机器够不够
本地部署 LLM,瓶颈几乎总是在显存(VRAM)。下面是一个大致的参考表:
| 模型规模 | 参数量 | 最低显存(量化后) | 推荐显存 | 典型模型 |
|---|---|---|---|---|
| 小型 | 1B–3B | 2 GB | 4 GB | Qwen2.5-1.5B, Llama 3.2-1B |
| 中型 | 7B–8B | 5 GB | 8–12 GB | Llama 3.1-8B, Qwen2.5-7B, Mistral-7B |
| 大型 | 13B–14B | 9 GB | 16–24 GB | Qwen2.5-14B |
| 超大型 | 32B–70B | 20–40 GB | 48 GB+ | Llama 3.1-70B, Qwen2.5-72B |
量化(Quantization) 是把模型权重从 16 位浮点压缩到 4 位或 8 位整数的技术。4-bit 量化大约能把显存需求降到原来的 1/4,代价是少量精度损失——对大多数应用来说几乎感知不到。
CPU 也能跑,只是慢。如果你只有 CPU,建议选 1B–3B 的小模型,或者用量化后的 7B 模型,做好"每秒生成几个 token"的心理准备。
主流部署工具对比
目前社区最活跃的几个方案:
| 工具 | 语言 | 特点 | 适合谁 |
|---|---|---|---|
| Ollama | Go | 一行命令拉模型、跑模型,开箱即用 | 想最快跑起来的人 |
| llama.cpp | C++ | 性能极致,支持各种量化格式,可编译为 Python 绑定 | 追求性能、喜欢折腾的人 |
| vLLM | Python | 高吞吐推理引擎,支持 PagedAttention,并发能力强 | 要搭 API 服务给多人用 |
| LM Studio | GUI | 图形界面,模型市场一键下载 | 不想碰命令行的用户 |
| text-generation-webui (oobabooga) | Python | 功能丰富的 WebUI,插件多 | 想要聊天界面 + 各种扩展 |
下面我们以 Ollama 和 llama.cpp 为例,走一遍完整的部署流程。
方案一:用 Ollama 快速部署(推荐新手)
Ollama 是目前最简单的本地 LLM 部署方案,体验类似 Docker——拉镜像、跑容器,只不过这里拉的是模型。
1. 安装 Ollama
Linux(一行命令):
curl -fsSL https://ollama.com/install.sh | sh
macOS:
brew install ollama
Windows: 下载安装包即可,支持 WSL2。
安装完成后,Ollama 会自动作为一个后台服务运行(默认监听 localhost:11434)。
2. 拉取并运行模型
# 拉取并运行 Llama 3.1 8B(约 4.7 GB 下载)
ollama run llama3.1
# 或者选择 Qwen2.5 7B(中文表现优秀)
ollama run qwen2.5
# 小显存?试试 1.5B 的轻量模型
ollama run qwen2.5:1.5b
第一次运行会自动下载模型,之后直接 ollama run <模型名> 就能进入交互式对话。
3. 通过 API 调用
Ollama 提供了兼容 OpenAI 的 REST API,这意味着你可以用任何 OpenAI 客户端库来调用:
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen2.5",
"messages": [{"role": "user", "content": "用三句话解释什么是量子计算"}]
}'
Python 调用示例:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # 任意值即可
)
response = client.chat.completions.create(
model="qwen2.5",
messages=[{"role": "user", "content": "用三句话解释什么是量子计算"}]
)
print(response.choices[0].message.content)
4. 管理模型
ollama list # 查看已安装的模型
ollama ps # 查看正在运行的模型
ollama rm qwen2.5 # 删除模型释放磁盘
Ollama 的模型存储在 ~/.ollama/models/,如果系统盘空间紧张,可以把这个目录软链接到其他盘。
方案二:用 llama.cpp 手动部署(推荐进阶)
llama.cpp 是 Georgi Gerganov 开源的 C++ 推理引擎,是几乎所有本地 LLM 工具的底层基础。直接用它可以获得更细粒度的控制。
1. 编译
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 有 NVIDIA GPU 的情况下(推荐)
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
# 纯 CPU 编译
cmake -B build
cmake --build build --config Release -j
2. 下载模型
llama.cpp 使用 GGUF 格式的模型。推荐从 Hugging Face 下载已量化好的版本:
# 下载 Qwen2.5-7B 的 Q4_K_M 量化版本(4-bit,约 4.4 GB)
wget https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-GGUF/resolve/main/qwen2.5-7b-instruct-q4_k_m.gguf
量化级别怎么选?
Q4_K_M:4-bit,体积最小,速度最快,日常使用推荐Q5_K_M:5-bit,精度和体积的平衡点Q8_0:8-bit,精度最高,体积约为 Q4 的两倍F16:半精度浮点,几乎无损,但显存需求大
3. 运行推理
命令行对话模式:
./build/bin/llama-cli \
-m qwen2.5-7b-instruct-q4_k_m.gguf \
-c 4096 \
-i -ins \
-n 512
参数说明:
-m:模型文件路径-c:上下文窗口大小(token 数)-i -ins:交互式 + instruction 模式-n:每次最多生成的 token 数
启动 API 服务(兼容 OpenAI 接口):
./build/bin/llama-server \
-m qwen2.5-7b-instruct-q4_k_m.gguf \
-c 4096 \
--host 0.0.0.0 --port 8080
启动后访问 http://localhost:8080 就有一个内置的聊天界面,API 端点同样兼容 OpenAI 格式。
让模型更好用:搭配前端界面
命令行聊天够用但不够友好。社区有大量开源前端可以接上你的本地模型:
Open WebUI(推荐)
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
访问 http://localhost:3000,你会得到一个类似 ChatGPT 的完整界面:多轮对话、模型切换、文档上传、知识库管理,全部连到你本地的 Ollama。
其他选择
- SillyTavern:角色扮演和聊天场景,支持复杂的人设和世界观设定
- AnythingLLM:侧重 RAG(检索增强生成),可以把本地文档变成知识库
- Chatbox:跨平台桌面客户端,配置简单,适合日常使用
性能调优:让推理更快
部署成功只是第一步,跑得快才是关键。
1. 选择合适的量化级别
不要盲目追求高精度。实测中,Q4_K_M 和 F16 在大多数任务上的输出质量差异远小于人们的预期,但推理速度可以差 2-3 倍。
2. 调整上下文长度
上下文越长,KV Cache 占用的显存越多,推理也越慢。按实际需求设置:
- 日常对话:2048–4096 足够
- 长文档处理:8192–32768
- 超长上下文模型(如 Qwen2.5 支持 128K):注意显存是否撑得住
3. 批处理与并发
如果用 vLLM,可以开启连续批处理(continuous batching),在高并发场景下吞吐量远超单请求串行:
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct \
--quantization awq \
--max-model-len 8192 \
--gpu-memory-utilization 0.9
4. Flash Attention
如果显卡支持(Ampere 架构及以上),开启 Flash Attention 可以显著减少显存占用并加速长上下文推理。llama.cpp 编译时加 -DGGML_CUDA_FA_ALL_QUANTS=ON,vLLM 加 --enable-flash-attn。
常见问题与排坑
Q:模型加载时报 “out of memory”
显存不够。换更小的量化级别(如 Q4_K_M → Q3_K_S),或换更小的模型。也可以尝试 offload 部分层到 CPU:llama.cpp 的 -ngl 参数控制 GPU offload 的层数,调低这个值可以减少显存占用(代价是变慢)。
Q:生成速度很慢(< 5 tokens/s)
先确认是否在用 GPU。纯 CPU 推理 7B 模型通常只有 3–10 tokens/s。如果有 GPU 但仍然慢,检查驱动和 CUDA 是否正确安装,以及编译时是否开启了 GPU 支持。
Q:中文输出质量差
模型选择很重要。中文场景优先考虑:
- Qwen2.5 系列(阿里):中文能力一流,覆盖 0.5B 到 72B
- GLM-4 系列(智谱):中文理解和生成都很强
- Yi 系列(零一万物):中英双语表现优秀
Q:如何让模型访问我的本地文件?
这需要 RAG(检索增强生成)。基本流程是:文档切块 → 向量化存入向量数据库 → 检索相关片段 → 拼入 prompt。AnythingLLM、Open WebUI 的知识库功能都内置了这个流程。想自己搭可以用 LangChain + ChromaDB + 你的本地模型。
- 点赞
- 收藏
- 关注作者
评论(0)