本地部署大模型，用ollama实现大模型在你的电脑上运行

一般大模型的使用流程

用户需要将待处理的数据上传到云端。这可能包括文本、图片、音频等不同类型的数据。在上传数据之前，可能需要进行格式转换或预处理，以确保数据与大模型的输入格式兼容。大模型处理完成后，用户可以在本地计算机或服务器上直接获取处理结果。用户可以对结果进行进一步的分析和处理，以满足具体应用需求。简而言之，就是我们将问题从终端（手机、电脑等）上传到云端的服务器，待服务器处理后再把结果反馈到我们手里。

本地部署大模型

用户需要准备待处理的数据，并将其存储在本地。这可能包括文本、图片、音频等不同类型的数据。在处理数据之前，可能需要进行格式转换或预处理，以确保数据与大模型的输入格式兼容。大模型处理完成后，用户可以在本地计算机或服务器上直接获取处理结果。用户可以对结果进行进一步的分析和处理，以满足具体应用需求。简而言之，就是我们省去了上传和接收的步骤，数据在我们本地处理即可得到结果。

本地部署的步骤

本地部署LLM（大模型）有很多途径方法，我这边用目前公认最好用的ollama作为示范，如果你不想用ollama当然还有许多其他途径，比如LM Studio等等。

首先我们进去ollama的官网，网址在这：Ollama

随后点击Download下载

下载好后点击安装包进行安装即可。需要注意的是，安装好后是不会在你的电脑上显示图标的，你也无法打开图形化页面，那么下面我们要如何安装自己想要的大语言模型呢？

点击右上角的Models我

我

随后你就可以看到很多的开源大模型。Ollama为你提供了丰富的开源大模型资源，有的大模型甚至开源了不过几个小时，你就可以在Ollama上找到。

我这边比较推荐的两个大模型分别是llama3（来自meta）和qwen（阿里的千问），llama3是目前公认的最强开源大模型，缺点就在他更多的适配英文，中文效果不太好，而qwen则对中文的逻辑性要更好。

随后我们点开喜欢的大模型。

可以看到两个选择框，左边的能够选择大模型的规格，右边则是安装的指令。

我们点开左边的方框，下拉能够看到很多的大模型，在这里b是指billion，中文意思是十亿，用来表示模型参数的数量级。在人工智能领域，模型的大小通常以其参数的数量来衡量，而参数的数量可以非常庞大。当然，参数数量越大对硬盘和性能的需求就越大。比如我的3060显卡跑8B的llama3就一般能占用到80%。所以若想本地使用大模型，性能的需求还是很重要的。

选择好大模型后，你就可以安装了。

复制右边方框内的指令。

打开你的cmd。

粘贴进去，

他就会自动为你下载。

随后你就可以在这个页面和你的大模型进行交互啦。

如果你下次还想进去这个界面，同样的还是打开cmd运行这个指令。