使用Ollama部署deepseek大模型

举报
小陈运维 发表于 2025/01/26 18:13:05 2025/01/26
【摘要】 使用Ollama部署DeepSeek大模型,需先安装适配显卡的CUDA驱动。Ollama支持Windows与Linux系统,通过命令行安装并运行不同大小的DeepSeek模型,从1.5B到671B参数量不等,满足多样化需求。在Windows环境下设置OLLAMA_HOST环境变量监听。结合Open WebUI,可通过Docker快速搭建含或不含GPU支持的开发环境,并配置环境变量以连接远程Olla

使用Ollama部署deepseek大模型

前置条件

使用英伟达显卡下载cuda驱动
https://developer.nvidia.com/cuda-downloads

Ollama

Ollama 官方版: https://ollama.com/

我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装
若你的显卡是在Linux上面 可以使用如下命令安装

curl -fsSL https://ollama.com/install.sh | sh

当然Ollama不只是可以启动deepseek模型,也可以启动他的模型
https://ollama.com/search

# 模型的安装命令

# 1.5B Qwen DeepSeek R1  
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b

# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b

# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b

# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b

# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b

# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b

# 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b

# Windows的环境变量监听
# OLLAMA_HOST  0.0.0.0

# 启动命令
ollama serve

Open WebUI

官方安装文档:https://docs.openwebui.com/

Open WebUI官网文档翻译:

注意:

使用Docker安装Open WebUI时,请确保在Docker命令中包含

-v open-webui:/app/backend/data

这一步至关重要,因为它确保您的数据库正确挂载,避免任何数据丢失。

安装默认配置

1.如果您的计算机上安装了Ollama,可以使用以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.如果Ollama在另一台服务器上,请使用以下命令:

连接到另一台服务器上的Ollama时,请将OLLAMA_BASE_URL更改为服务器的URL:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要使用Nvidia GPU支持运行Open WebUI,请使用以下命令:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3.仅用于OpenAI API使用的安装

如果您仅使用OpenAI API,请使用以下命令:

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 

4.带有捆绑Ollama支持的Open WebUI安装

此安装方法使用一个单独的容器映像,将Open WebUI与Ollama捆绑在一起,通过单个命令实现简化设置。根据您的硬件设置选择适当的命令:

使用GPU支持:通过运行以下命令利用GPU资源

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

仅CPU:如果您不使用GPU,请改用以下命令:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

这两个命令都支持内置、简单的安装Open WebUI和Ollama,确保您可以快速启动一切。

# 我用到的命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问:http://192.168.1.120:3000

关于

https://www.oiox.cn/

https://www.oiox.cn/index.php/start-page.html

CSDN、GitHub、51CTO、知乎、开源中国、思否、掘金、简书、华为云、阿里云、腾讯云、哔哩哔哩、今日头条、新浪微博、个人博客

全网可搜《小陈运维》

文章主要发布于微信公众号

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。