Docker 镜像与容器管理:十个最常用的命令
云端大模型 API 按 token 计费,调试一个提示词要反复试错,成本和延迟都不友好。其实一台 16GB 内存的普通电脑,就能在本地跑动 7B~14B 级别的开源模型,把「试错」的成本降到接近零。
一、安装 Ollama
到官网 ollama.com 下载对应系统的安装包:macOS 拖进应用程序目录,Linux 一条 curl 命令即可。装完在终端执行 ollama --version,能看到版本号就说明安装成功。
二、拉取并运行模型
执行 ollama run qwen2.5:7b,第一次会自动下载约 4.7GB 的模型文件,下载完直接进入终端对话。想换模型只改 tag,例如 ollama run llama3.1:8b。日常问答和代码补全,7B 已经够用;内存紧张就退到 qwen2.5:3b。
三、三种用法
终端对话只是基础用法。第二,把它当本地 API:ollama serve 之后 POST 到 localhost:11434,OpenAI 兼容接口能直接对接你已有的工具链。第三,配一个图形前端连本地 11434 端口,体验接近网页版助手。三种方式底层是同一个本地服务,切换成本几乎为零。
四、两个常见坑
一是内存不足报 OOM:换更小的模型或量化版本(tag 带 q4),量化后 7B 模型约 4GB 内存即可运行。二是下载慢:可配置代理,或离线导入 GGUF 文件——写一个 Modelfile,FROM 指向本地路径,再 ollama create 导入即可。
总结:Ollama 把跑模型简化成两条命令,本地化意味着数据不出机器、没有按量计费,适合提示词调试、敏感文本处理和离线场景。建议先从 7B 量化版起步,跑通后再按内存逐步加大。
- 点赞
- 收藏
- 关注作者
评论(0)