Windows 平台使用 Ollama 入门教程

1. 简介

Ollama 是一款专注于快速开发、部署和运行大语言模型的平台。无论是学习AI，还是将其集成到实际项目中，Ollama 都能提供简单高效的工具和方法。

在GitHub 2024年度报告中，一个名为Ollama的开源项目脱颖而出，吸引了广泛的关注。Ollama凭借其独特的功能和优势，在竞争激烈的AI领域中迅速崭露头角。本文将深入探讨Ollama，从其基本原理、与同类软件的比较、在各种应用场景中的实际案例等方面，全面剖析其功能和优势，并展望其未来发展趋势。Ollama旨在简化LLM的本地部署和使用。其核心原理是将LLM模型封装成轻量级的Docker镜像，并提供一套便捷的命令行工具和API，方便用户进行模型管理、交互和应用开发。

2. 系统要求

操作系统：Available for macOS, Linux, and Windows。

硬件要求：

最低内存：8GB

推荐内存：16GB 或更高

GPU（可选）：支持的显卡可显著提高性能。

软件依赖：

Docker：某些功能可能需要容器支持。

Python（可选）：用于高级功能开发。

3. 安装 Ollama（以Windows为例）

下载 Ollama 安装包

访问 Ollama 官方网站 并下载适用于 Windows 的安装程序。

链接: https://pan.baidu.com/s/1FFIC5Hah9_Mj3qyasHyOng?pwd=sky1 提取码: sky1

二、 安装

双击安装文件，点击「Install」开始安装。目前的Ollama会默认安装到C盘，路径如下：C:\Users%username%\AppData\Local\Programs\Ollama，并不会让用户自定义选择安装路径。

3、 安装完成后，会在电脑右下角出现Ollama图标，可以不用先启动Ollama，先退出做一些必要路径的配置！

右键图标，会出现退出的按钮「Quit Ollama」，注意：一定要退出Ollama，否则下边的环境配置无法生效！

三- 关闭开机自启动（可选）：

Ollama 默认会随 Windows 自动启动，可以在「文件资源管理器」的地址栏中访问以下路径，删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。

四、- 配置环境变量（必须）：

Ollama 的默认模型存储路径如下：C:\Users%username%.ollama\models，无论 C 盘空间大小，需要安装多少模型，都建议换一个存放路径到其它盘，否则会影响电脑运行速度。

打开「系统环境变量」，新建一个系统变量OLLAMA_MODELS ，然后设置ollama模型的存储路径。

变量名：OLLAMA_MODELS

变量值（路径）：D:\Work\ollama\models

允许浏览器跨域请求（可选）：

Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在其它前端面板中调用 Ollama API，比如Open WebUI，建议放开跨域限制：

变量名：OLLAMA_ORIGINS

变量值：*

运行Ollama

将上述更改的环境变量保存后，在「开始」菜单中找到并重新启动 Ollama。找到ollama.exe的所在位置，在该位置打开cmd

执行指令ollama run <模型名称>，首次执行会从模型库中下载模型，所需时间取决于你的网速和模型大小。模型库地址：https://ollama.org.cn/library

等待下载模型完成后，就可以使用了：

Ollama run llama3

该命令会启动并运行名为Llama 3的大型语言模型。Ollama是一个开源工具，它允许用户在本地计算机上轻松地运行和部署大型语言模型，如Llama 3。 

输入提示和询问的词句！和AI大模型进行交互

如果想退出聊天

1. 同时按 Ctrl+D

2. 或者输入bye

如果想卸载大模型

        卸载 Ollama 模型的命令是 ollama rm <model_name>，其中 <model_name> 是你想要删除的模型的名称。例如，如果你想要删除名为 llama3 的模型，你可以使用以下命令：

ollama rm llama3

命令执行后，终端显示 "Deleted 'llama3'"，这表明模型已经被成功卸载。

总结

本文全面介绍了Ollama及其在本地运行大型语言模型中的应用，Ollama凭借其简便的安装过程、丰富的模型支持、高效的性能表现和活跃的社区，成为了本地LLM工具中的佼佼者。

通过本地部署Ollama，开发者不仅能够享受低延迟、高隐私性和成本效益，还能获得更大的灵活性和控制权。结合Langchain和Dify，Ollama为构建智能、可扩展的AI应用提供了强大的支持。而通过与Open Web UI和VS Code的集成，Ollama进一步提升了用户体验和开发效率。

未来，随着Ollama和相关工具的不断发展，预计其在AI应用开发中的地位将进一步提升，为开发者和企业带来更多创新和便利。