Docker 一行命令跑 Ollama 本地大模型:从安装到对话的完整实录

举报
yd_298725470 发表于 2026/11/09 09:03:29 2026/11/09
【摘要】 为什么要在本地跑大模型最近想试试本地大模型,又不想把对话都发到云端,也不想装一堆依赖折腾环境。试了一圈下来,Docker + Ollama 是最省事的组合:一条命令拉起服务,再拉一个模型就能对话,电脑关机再开数据还在,整个过程十分钟就能跑通。下面是我在自己电脑上实测过的完整步骤。第一步:准备 Docker先确认本机装好了 Docker,打开终端执行 docker --version,能看到版...

为什么要在本地跑大模型

最近想试试本地大模型,又不想把对话都发到云端,也不想装一堆依赖折腾环境。试了一圈下来,Docker + Ollama 是最省事的组合:一条命令拉起服务,再拉一个模型就能对话,电脑关机再开数据还在,整个过程十分钟就能跑通。下面是我在自己电脑上实测过的完整步骤。

第一步:准备 Docker

先确认本机装好了 Docker,打开终端执行 docker --version,能看到版本号就说明没问题。Windows 和 macOS 装 Docker Desktop,Linux 直接装 Docker Engine 即可。Ollama 本身对显卡没有硬性要求,没有独立显卡也能跑,只是速度慢一些,第一次建议先选小模型练手。

第二步:一行命令启动 Ollama

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

这条命令里,-d 是后台运行,-v ollama:/root/.ollama 把模型数据存在 Docker 卷里,删容器也不丢模型,-p 11434:11434 把服务端口映射出来,--name ollama 是给容器起个名字。执行后用 docker ps 看到 ollama 容器在运行,就说明服务起来了。

第三步:拉取并运行模型

服务起来后,进容器拉模型并直接对话:

docker exec -it ollama ollama pull qwen2.5:7b
docker exec -it ollama ollama run qwen2.5:7b

第一条下载约 4.7GB 的模型文件,需要一点时间;第二条会直接进入对话界面,输入问题按回车就能得到回答,输入 /bye 退出。想换模型也很简单,把 qwen2.5:7b 换成 llama3.1:8b 或者 deepseek-r1:7b 都行。

第四步:验证服务是否正常

除了在容器里对话,还可以用接口验证:

curl http://localhost:11434/api/tags

返回的 JSON 里能看到已下载的模型列表,就说明 API 服务正常。这个接口后面接自己的小工具也很方便。

第五步:日常管理用的几条命令

docker logs -f ollama 可以看服务日志;ollama list 列出已下载的模型;ollama ps 看正在运行的模型;不用的时候 docker stop ollama 停掉容器,下次 docker start ollama 就能继续用,模型都在卷里,不用重新下载。

常见问题

端口被占用:把 -p 改成 11435:11434,再用 11435 访问。跑不动大模型:内存或显存不够时先换 qwen2.5:1.5b 这类小模型,跑通流程再升级。下载特别慢:模型文件比较大,耐心等一次下载完成,后续就不用再下了。想在手机或另一台电脑上用:把 localhost 换成本机局域网 IP,就能在同一网络内访问。

小结

Docker + Ollama 的好处是环境隔离干净、模型数据可持久化、整个流程可重复。一句话总结:一条 docker run 起服务,一条 ollama run 开对话,剩下的就是挑一个适合自己电脑的模型慢慢玩。如果你也刚开始接触本地大模型,不妨按上面五步走一遍,十分钟就能拥有一个属于自己的本地对话助手。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。