Docker 一行命令跑 Ollama 本地大模型:从安装到对话的完整实录
为什么要在本地跑大模型
最近想试试本地大模型,又不想把对话都发到云端,也不想装一堆依赖折腾环境。试了一圈下来,Docker + Ollama 是最省事的组合:一条命令拉起服务,再拉一个模型就能对话,电脑关机再开数据还在,整个过程十分钟就能跑通。下面是我在自己电脑上实测过的完整步骤。
第一步:准备 Docker
先确认本机装好了 Docker,打开终端执行 docker --version,能看到版本号就说明没问题。Windows 和 macOS 装 Docker Desktop,Linux 直接装 Docker Engine 即可。Ollama 本身对显卡没有硬性要求,没有独立显卡也能跑,只是速度慢一些,第一次建议先选小模型练手。
第二步:一行命令启动 Ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
这条命令里,-d 是后台运行,-v ollama:/root/.ollama 把模型数据存在 Docker 卷里,删容器也不丢模型,-p 11434:11434 把服务端口映射出来,--name ollama 是给容器起个名字。执行后用 docker ps 看到 ollama 容器在运行,就说明服务起来了。
第三步:拉取并运行模型
服务起来后,进容器拉模型并直接对话:
docker exec -it ollama ollama pull qwen2.5:7b
docker exec -it ollama ollama run qwen2.5:7b
第一条下载约 4.7GB 的模型文件,需要一点时间;第二条会直接进入对话界面,输入问题按回车就能得到回答,输入 /bye 退出。想换模型也很简单,把 qwen2.5:7b 换成 llama3.1:8b 或者 deepseek-r1:7b 都行。
第四步:验证服务是否正常
除了在容器里对话,还可以用接口验证:
curl http://localhost:11434/api/tags
返回的 JSON 里能看到已下载的模型列表,就说明 API 服务正常。这个接口后面接自己的小工具也很方便。
第五步:日常管理用的几条命令
docker logs -f ollama 可以看服务日志;ollama list 列出已下载的模型;ollama ps 看正在运行的模型;不用的时候 docker stop ollama 停掉容器,下次 docker start ollama 就能继续用,模型都在卷里,不用重新下载。
常见问题
端口被占用:把 -p 改成 11435:11434,再用 11435 访问。跑不动大模型:内存或显存不够时先换 qwen2.5:1.5b 这类小模型,跑通流程再升级。下载特别慢:模型文件比较大,耐心等一次下载完成,后续就不用再下了。想在手机或另一台电脑上用:把 localhost 换成本机局域网 IP,就能在同一网络内访问。
小结
Docker + Ollama 的好处是环境隔离干净、模型数据可持久化、整个流程可重复。一句话总结:一条 docker run 起服务,一条 ollama run 开对话,剩下的就是挑一个适合自己电脑的模型慢慢玩。如果你也刚开始接触本地大模型,不妨按上面五步走一遍,十分钟就能拥有一个属于自己的本地对话助手。
- 点赞
- 收藏
- 关注作者
评论(0)