搭建本地 AI 大模型 deepseek,并使用 Web 界面调用

举报
tea_year 发表于 2025/09/01 23:02:35 2025/09/01
【摘要】 Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 Docker产品(支持 list,pull,push,run 等命令),事实上它保留了 Docker 的操作习惯,支持上传大语言模型仓库(有 deepseek、llama 2,mistral,qwen 等模型,你也可以自定义模型上传)。在管理模型的同时,它还提供了一些 Api 接口,让你能够像调用 OpenAI 提供的接口那样...

Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 Docker产品(支持 list,pull,push,run 等命令),事实上它保留了 Docker 的操作习惯,支持上传大语言模型仓库(有 deepseek、llama 2,mistral,qwen 等模型,你也可以自定义模型上传)。

在管理模型的同时,它还提供了一些 Api 接口,让你能够像调用 OpenAI 提供的接口那样进行交互。

一、下载安装Ollama
Ollama 支持多平台部署,你可以在官网,选择适合的安装包。


下载地址:https://ollama.com

运行之后,访问localhost:11434,查看是否正常运行:


1.png


二、AI模型管理
ollama 安装之后,其同时还是一个命令,与模型交互就是通过命令来进行的。

ollama list:显示模型列表。
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型


官方提供了一个模型仓库,https://ollama.com/library, 你可以搜索你想要的模型。

官方建议:应该至少有 8 GB 可用 RAM 来运行 7 B 型号,16 GB 来运行 13 B 型号,32 GB 来运行 33 B 型号。

在这里我选择下载目前最火的开源 deepseek-r1 模型来做演示。模型地址为:https://ollama.com/library/deepseek-r1 ,因我的电脑有 32G,所以选择了 14b 的模型来调试。


ollama run deepseek-r1:14b


执行命令,如果本地没有该模型,则会先下载模型再运行。首次运行启动可能略慢。

三、简单交互

模型运行之后,会默认进入到交互状态,你可以按下Ctrl + D退出交互,但此时模型并不会退出,仍旧可以正常通过 Api 接口交互。

终端交互示例:


2.png


接口请求参考官方文档的介绍API文档,下边是简单的示例:

curl http://localhost:11434/api/generate -d "{\"model\":\"deepseek-r1:14b\", \"prompt\":\"介绍下JeecgBoot是什么项目\", \"stream\": false}"


四、通过Web界面调用大模型
这里介绍几个UI框架可以直接与ollama大模型对接。

项目一 :ollama-webui-lite
项目地址: https://github.com/ollama-webui/ollama-webui-lite

此项目是open-webui 的简化版,注意需:node >= 16。


git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
yarn
yarn dev



需要提前安装node.js

https://nodejs.cn/download/

首先删除过期的淘宝镜像源,切换到官方源或其他有效镜像:



# 切换到 npm 官方源
npm config set registry https://registry.npmjs.org/


官方源访问较慢,可切换到阿里云的新镜像(淘宝镜像的替代者):



npm config set registry https://registry.npmmirror.com/



再次尝试安装 yarn:

npm install -g yarn


localhost:11434/api/tags

{"models":[{"name":"llama3:latest","model":"llama3:latest","modified_at":"2025-09-01T22:18:13.2126673+08:00","size":4661224676,"digest":"365c0bd3c000a25d28ddbf732fe1c6add414de7275464c4e4d1c3b5fcb5d8ad1","details":{"parent_model":"","format":"gguf","family":"llama","families":["llama"],"parameter_size":"8.0B","quantization_level":"Q4_0"}}]}


项目二 :lobe-chat
项目地址:https://github.com/lobehub/lobe-chat

这是一个集成多种模型能力的对话聊天UI,部署简单,界面酷炫。

Docker 部署命令:

docker run -itd --name=lobechat -p 3210:3210 registry.cn-hangzhou.aliyuncs.com/jeecgdocker/lobe-chat

3.png

如果你是本地 ollama 部署,启动之后,就可以在 web 界面进行交互了。 目前最新版还不支持deepseek v3,可以先用其他大模型测试下













操作后,npm 会使用新的镜像源连接,避免证书过期问题,即可正常安装 yarn。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。