大模型工具Ollama安装教程

举报
EasyGrid_AI 发表于 2025/02/10 15:39:28 2025/02/10
【摘要】 近两年来,随着大型语言模型(LLM)的迅猛崛起,吸引了各行各业的广泛关注,并对我们的日常生活与工作模式带来了显著的积极影响。特别是在春节期间,DeepSeek的火爆表现更是将国产大型语言模型的发展推向了一个崭新的高度,令世界为之震撼与振奋。Ollama 作为一种开源的基于Docker容器的大模型运行工具,它提供了一个统一的平台,用于下载、安装和运行各种AI大模型,为开发者提供了极大的便捷开发...

1.png

近两年来,随着大型语言模型(LLM)的迅猛崛起,吸引了各行各业的广泛关注,并对我们的日常生活与工作模式带来了显著的积极影响。特别是在春节期间,DeepSeek的火爆表现更是将国产大型语言模型的发展推向了一个崭新的高度,令世界为之震撼与振奋。

Ollama 作为一种开源的基于Docker容器的大模型运行工具,它提供了一个统一的平台,用于下载、安装和运行各种AI大模型,为开发者提供了极大的便捷开发环境。

本教程带领大家零基础搭建Ollama大模型运行环境,包括Windows平台和Linux平台,帮助大家有效避坑,确保一次成功。闲话少叙,直接上干货。

一、环境准备

  • 操作系统:Windows 10 / Ubuntu Linux
  • CPU架构:x86架构 / ARM架构
  • GPU:【可选】

二、下载Ollama

Ollama官方下载链接(https://ollama.com/download)

2.png

请根据自己的实际需求,下载适合的平台版本,各版本安装流程略有差异,但使用方式是一致的。

三、安装Ollama Windows版

3.png

4.png

5.png

注:Ollama Windows版本,基本上是一键安装,非常简单,安装完毕后,右小角会出现Ollama小图标。

四、安装Ollama Linux版

4-1、通过官方脚本一键安装

curl -fsSL https://ollama.com/install.sh | sh

在Shell中,执行如上脚本,如下图所示:

6.png

注:由于众所周知的原因,国内通过此方式安装,堪称龟速,基本上很难成功(采用官方的安装方式,肯定让你痛苦不堪呦)!

4-2、手动安装(靠谱)

  • 第 1 步:从Github下载安装包

Ollama Github Release Page(https://github.com/ollama/ollama/releases/tag/v0.5.7)

Ollama Linux x86架构下载地址(https://ollama.com/download/ollama-linux-amd64.tgz)

Ollama Linux ARM架构下载地址(https://ollama.com/download/ollama-linux-arm64.tgz)

注:后两个链接看似是官网地址,实则最后都会跳转到Github下载,只不过会方便一些,它会自动定位到最新版本的安装包。

7.png

  • 第 2 步:解压安装

     a)在 /opt 目录下创建 ollama 目录:

mkdir /opt/ollama

     b)将下载的安装包拷贝到此目录,如下图所示:

8.png

     c)进入此目录,并解压

cd /opt/ollama
tar -xzvf ollama-linux-amd64-v0.5.7.tgz

     解压完成,即安装完成,如下图所示:

9.png

  • 第 3 步:将 Ollama 添加到系统环境变量,便于在任意地方使用

         将如下内容,添加到 /etc/profile 文件中:

export OLLAMA_HOME=/opt/ollama
export PATH=$OLLAMA_HOME/bin:$PATH

         使环境变量立即生效: 

source /etc/profile
  • 第 4 步:将 Ollama 作为系统服务,便于开机自动启动

         a)创建服务配置文件:/etc/systemd/system/ollama.servic

cat << 'EOF' > /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="PATH=$PATH"
 
[Install]
WantedBy=default.target
EOF

         b)启用此服务配置,并启动Ollama服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

五、验证Ollama

  • 在 cmd 或 shell 中 输入如下命令:
ollama -v

    输出如下结果,即表示Ollama安装成功

ollama version is 0.5.7

六、测试LLM

通过部署 DeepSeek R1 模型,测试Ollama运行是否一切良好。

ollama run deepseek-r1:1.5b

a.png

6-1、通过终端,与R1模型交互

a.png

6-2、通过REST接口,与R1模型交互

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:1.5b",
  "messages": [
    {
      "role": "user",
      "content": "你是谁?"
    }
  ],
  "stream": false
}'

输出结果如下:

{
    "model":"deepseek-r1:1.5b",
    "created_at":"2025-02-09T09:14:10.124220416Z",
    "message": {
        "role": "assistant", 
        "content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。"
    }
 
    ,
    "done_reason":"stop",
    "done":true,
    "total_duration":2827133849,
    "load_duration":24253134,
    "prompt_eval_count":6,
    "prompt_eval_duration":105377000,
    "eval_count":40,
    "eval_duration":2654455000
}

注:通过测试,可以发现终端交互与REST接口交互,响应内容一致。 

七、Ollama常用命令

命令 说明
ollama serve 启动 ollama 服务
ollama create 根据一个 Modelfile 创建一个模型
ollama show 显示某个模型的详细信息
ollama run 运行一个模型
ollama stop 停止一个正在运行的模型
ollama pull 从一个模型仓库(registry)拉取一个模型
ollama push 将一个模型推送到一个模型仓库
ollama list 列出所有模型
ollama ps 列出所有正在运行的模型
ollama cp 复制一个模型
ollama rm 删除一个模型
ollama help 获取关于任何命令的帮助信息

注:从ollama命令风格上可以看出,它与Docker命令很相似,所以你可以按照使用Docker的习惯,使用它。

至此分享结束!快来自己动手体验吧!

Enjoy It!

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。