【快捷部署】018_Ollama（GPU版）

📣【快捷部署系列】018期信息

注意事项：
1、目前镜像及大模型下载速度尚可，但由于容量较大，所以建议使用100Mbit/s以上的带宽。
2、2个容器镜像大小约为4G左右，为了加快部署速度，模型采用的是较小的qwen:0.5b。
3、脚本部署过程，控制台会提示，输入内网IP地址，输入后才会继续执行，切勿一直等待。

本次采用华为云服务器，感谢淘客科技提供的实验资源环境。具体配置见上图。

一、快捷部署

#!/bin/bash
#################################################################################
# 作者：cxy@toctalk@hwy 2024-04-09                                                 
# 功能：自动部署Ollama（Docker方式，GPU） 
# 说明：如果已安装了Docker，请注释掉 install_docker，避免重复安装                                                                 
#################################################################################

info(){
  echo -e "\033[34m 【`date '+%Y-%m-%d %H:%M:%S'`】\033[0m" "\033[35m$1\033[0m "
}


install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++

##验证gcc版本
gcc -v


info "安装Docker（指定版本：23.0.6）"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast

## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7

info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version


## 创建加速器
#cd /etc/docker
#if [ ! -f "$daemon.json" ]; then
#  touch "$daemon.json"
#else
#  rm -rf daemon.json
#  touch "$daemon.json"
#fi
#tee /etc/docker/daemon.json <<-'EOF'
#{
#	"registry-mirrors": ["https://自己的镜像加速器地址"]
#}
#EOF
#systemctl daemon-reload
#systemctl restart docker


info "Docker（23.0.6）安装完毕！"
}





# 安装 Ollama
install_Ollama(){
 info "参考IP地址："$(hostname -I)

 read -p "请问，您当前服务器的内网IP地址是？:" inner_ip

 inner_ip="${inner_ip:-127.0.0.1}"

 curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

 sudo yum install -y nvidia-container-toolkit

 sudo nvidia-ctk runtime configure --runtime=docker

 sudo systemctl restart docker

 docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
 info "ollama部署完毕，开始下载qwen:0.5b模型..."

 docker exec -it ollama ollama run qwen:0.5b “你好”
 info "qwen:0.5b模型加载完成，开始部署webui界面..."

 docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

 eip=$(curl ifconfig.me/ip)

 info "部署完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"
}

install_docker
install_Ollama

使用方法：

$ vim install-ollama-gpu-centos7.sh
$ chmod +x install-ollama-gpu-centos7.sh
$ ./install-ollama-gpu-centos7.sh
# 感谢淘客科技提供的实验资源环境

验证：

1、docker ps （能看到2个容器实例正在运行）
2、浏览器访问：http://eip:3000 (需要等待WEBUI启动，并且放通了3000端口的访问规则)

# open-webui启动有些慢，通过日志查看进度
$ docker logs -f open-webui

# 资源监控
$ docker stats

二、入门体验

详细体验操作请观看后续相关视频

由于是入门系列，所以仅列举了简单的体验场景。
更多信息可访问官网：https://ollama.com
更多的模型：https://ollama.com/library
更多OS部署方式：https://hub.docker.com/r/ollama/ollama
open-webui：https://github.com/open-webui/open-webui
当然，您也可以关注我，关注后续相关博文。

往期精彩内容推荐

云原生：5分钟了解一下Kubernetes是什么
【快捷部署】015_Minio（latest）
【快捷部署】014_elasticsearch（7.6）
【快捷部署】011_PostgreSQL（16）
【快捷部署】010_MySQL（5.7.27）
【快捷部署】009_Redis（6.2.14）
「快速部署」第一期清单