大模型工具Ollama安装教程
近两年来,随着大型语言模型(LLM)的迅猛崛起,吸引了各行各业的广泛关注,并对我们的日常生活与工作模式带来了显著的积极影响。特别是在春节期间,DeepSeek的火爆表现更是将国产大型语言模型的发展推向了一个崭新的高度,令世界为之震撼与振奋。
Ollama 作为一种开源的基于Docker容器的大模型运行工具,它提供了一个统一的平台,用于下载、安装和运行各种AI大模型,为开发者提供了极大的便捷开发环境。
本教程带领大家零基础搭建Ollama大模型运行环境,包括Windows平台和Linux平台,帮助大家有效避坑,确保一次成功。闲话少叙,直接上干货。
一、环境准备
- 操作系统:Windows 10 / Ubuntu Linux
- CPU架构:x86架构 / ARM架构
- GPU:【可选】
二、下载Ollama
Ollama官方下载链接(https://ollama.com/download)
请根据自己的实际需求,下载适合的平台版本,各版本安装流程略有差异,但使用方式是一致的。
三、安装Ollama Windows版
注:Ollama Windows版本,基本上是一键安装,非常简单,安装完毕后,右小角会出现Ollama小图标。
四、安装Ollama Linux版
4-1、通过官方脚本一键安装
curl -fsSL https://ollama.com/install.sh | sh
在Shell中,执行如上脚本,如下图所示:
注:由于众所周知的原因,国内通过此方式安装,堪称龟速,基本上很难成功(采用官方的安装方式,肯定让你痛苦不堪呦)!
4-2、手动安装(靠谱)
- 第 1 步:从Github下载安装包
Ollama Github Release Page(https://github.com/ollama/ollama/releases/tag/v0.5.7)
Ollama Linux x86架构下载地址(https://ollama.com/download/ollama-linux-amd64.tgz)
Ollama Linux ARM架构下载地址(https://ollama.com/download/ollama-linux-arm64.tgz)
注:后两个链接看似是官网地址,实则最后都会跳转到Github下载,只不过会方便一些,它会自动定位到最新版本的安装包。
- 第 2 步:解压安装
a)在 /opt 目录下创建 ollama 目录:
mkdir /opt/ollama
b)将下载的安装包拷贝到此目录,如下图所示:
c)进入此目录,并解压
cd /opt/ollama
tar -xzvf ollama-linux-amd64-v0.5.7.tgz
解压完成,即安装完成,如下图所示:
- 第 3 步:将 Ollama 添加到系统环境变量,便于在任意地方使用
将如下内容,添加到 /etc/profile 文件中:
export OLLAMA_HOME=/opt/ollama
export PATH=$OLLAMA_HOME/bin:$PATH
使环境变量立即生效:
source /etc/profile
- 第 4 步:将 Ollama 作为系统服务,便于开机自动启动
a)创建服务配置文件:/etc/systemd/system/ollama.servic
cat << 'EOF' > /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
EOF
b)启用此服务配置,并启动Ollama服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
五、验证Ollama
- 在 cmd 或 shell 中 输入如下命令:
ollama -v
输出如下结果,即表示Ollama安装成功
ollama version is 0.5.7
六、测试LLM
通过部署 DeepSeek R1 模型,测试Ollama运行是否一切良好。
ollama run deepseek-r1:1.5b
6-1、通过终端,与R1模型交互
6-2、通过REST接口,与R1模型交互
curl http://localhost:11434/api/chat -d '{
"model": "deepseek-r1:1.5b",
"messages": [
{
"role": "user",
"content": "你是谁?"
}
],
"stream": false
}'
输出结果如下:
{
"model":"deepseek-r1:1.5b",
"created_at":"2025-02-09T09:14:10.124220416Z",
"message": {
"role": "assistant",
"content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。"
}
,
"done_reason":"stop",
"done":true,
"total_duration":2827133849,
"load_duration":24253134,
"prompt_eval_count":6,
"prompt_eval_duration":105377000,
"eval_count":40,
"eval_duration":2654455000
}
注:通过测试,可以发现终端交互与REST接口交互,响应内容一致。
七、Ollama常用命令
命令 | 说明 |
ollama serve | 启动 ollama 服务 |
ollama create | 根据一个 Modelfile 创建一个模型 |
ollama show | 显示某个模型的详细信息 |
ollama run | 运行一个模型 |
ollama stop | 停止一个正在运行的模型 |
ollama pull | 从一个模型仓库(registry)拉取一个模型 |
ollama push | 将一个模型推送到一个模型仓库 |
ollama list | 列出所有模型 |
ollama ps | 列出所有正在运行的模型 |
ollama cp | 复制一个模型 |
ollama rm | 删除一个模型 |
ollama help | 获取关于任何命令的帮助信息 |
注:从ollama命令风格上可以看出,它与Docker命令很相似,所以你可以按照使用Docker的习惯,使用它。
至此分享结束!快来自己动手体验吧!
Enjoy It!
- 点赞
- 收藏
- 关注作者
评论(0)