一站式部署指南：Ollama+OneAPI+FastGPT 搭建本地大模型服务

本文将详细讲解如何通过Docker部署Ollama运行大模型，并结合OneAPI和FastGPT搭建完整的大模型服务体系，全程基于命令行操作，步骤清晰可复现。

一、Ollama部署大模型

Ollama是轻量级的大模型部署工具，支持CPU/GPU两种运行模式，以下基于Docker完成安装配置。

1.1 Docker安装Ollama

1.1.1 CPU模式安装

通过Docker快速启动Ollama容器（CPU模式），无需额外硬件依赖：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

• 参数说明：
  • -d：后台运行容器
  • -v ollama:/root/.ollama：将Ollama的数据目录挂载到本地，避免容器删除后数据丢失
  • -p 11434:11434：映射端口，本地可通过11434端口访问Ollama服务
  • --name ollama：自定义容器名称，方便后续管理

安装完成后，可通过访问 127.0.0.1:11434 验证服务是否启动（页面无报错即代表启动成功）。

1.1.2 GPU模式安装

若本地有NVIDIA显卡且已配置Docker GPU环境，可启动GPU加速模式：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

• 关键参数：--gpus=all：让容器使用所有可用的GPU资源，大幅提升模型运行速度。

1.2 拉取并管理大模型

Ollama启动后，通过命令行完成模型的拉取和查看：

1. 验证Ollama版本（确认安装成功）：

   ollama -v
   

2. 拉取指定模型（以deepseek-r1:1.5b为例）：

   ollama pull deepseek-r1:1.5b
   

3. 查看已拉取的模型列表：

   ollama list
   

二、基于OneAPI对接模型服务

OneAPI用于统一管理大模型接口，此处结合FastGPT完成部署和配置。

2.1 安装FastGPT（含OneAPI依赖）

1. 确保Docker已启动（若未启动，执行systemctl start docker或对应系统启动命令）；
2. 创建FastGPT专属目录并进入：

   mkdir -p /opt/fastgpt && cd /opt/fastgpt
   

3. 下载FastGPT配置文件和Docker Compose文件：

   # 下载配置文件
   wget https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
   # 下载Docker Compose文件并改名
   wget https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml -O docker-compose.yml
   

2.2 启动FastGPT和OneAPI服务

1. 启动容器集群：

   docker-compose up -d
   

2. 等待10秒（OneAPI首次启动需连接MySQL，需短暂等待）：

   sleep 10
   

3. 重启OneAPI容器（解决首次启动的密钥适配问题）：

   docker restart oneapi
   

2.3 访问OneAPI管理界面

启动完成后，通过以下地址访问OneAPI控制台：

http://localhost:3001/

2.4 配置OneAPI核心信息

1. 添加渠道信息：在OneAPI界面中，新增对接渠道，选择Ollama类型，填写Ollama服务地址（如http://ollama:11434）和对应模型信息；
2. 编辑令牌信息：创建访问令牌，配置令牌的权限范围和有效期，用于FastGPT调用OneAPI接口。

三、FastGPT搭建可视化大模型服务

FastGPT提供可视化的大模型交互界面，需完成配置修改和服务重启。

3.1 修改FastGPT配置文件

进入FastGPT目录（/opt/fastgpt），编辑config.json文件，根据实际需求调整模型对接参数（如OneAPI的接口地址、令牌信息等）。

3.2 重启服务使配置生效

修改配置后，重启FastGPT和OneAPI容器：

# 进入FastGPT目录
cd /opt/fastgpt
# 重启所有服务
docker-compose restart
# 或单独重启指定服务
docker restart oneapi fastgpt

3.3 访问FastGPT可视化界面

配置完成后，通过以下地址访问FastGPT主界面，即可使用已部署的大模型服务：

http://localhost:3000

注意事项

1. 若下载文件失败，可检查网络或手动复制文件内容到对应路径；
2. GPU模式需确保NVIDIA驱动、Docker GPU插件（nvidia-docker）已正确安装；
3. 端口冲突时，可修改docker-compose.yml中的端口映射（如3000/3001/11434）为未占用端口。