没显卡也能玩大模型？我眼里的昇腾与盘古

我的宿舍电脑没有独立显卡，平时写代码、跑个小脚本没问题，一提“本地跑大模型”就直接劝退。以前刷到别人晒显卡、晒算力，我的第一反应都是“这跟我没关系”。直到这学期有一门课要做文本处理的小项目，我才被迫去搞清楚：大模型到底是怎么跑起来的，普通学生有没有便宜一点的参与方式。

就是在这个过程中，我第一次认真认识了昇腾和盘古这两个名字。简单理解，昇腾是华为做 AI 计算的芯片系列，盘古是华为的大模型系列。一个负责“算”，一个负责“想”，合起来就是一套从硬件到模型都能自己掌控的路线。对我们这种只想把作业和 side project 跑起来的人来说，不用先去研究芯片架构，知道这个分工就够了。

先说昇腾。平时我们说的 CPU 更像全能选手，什么活都能干一点；GPU 原来是画图的，后来因为特别擅长并行算数，被拉来训练大模型；昇腾里的 NPU 则更专一，生来就是为了 AI 计算里的矩阵运算。打个不严谨的比方，CPU 是什么都会的班主任，GPU 是数学特别好的体育生，而 NPU 是只练数学竞赛的特长生。模型训练和推理的时候，恰恰就是大量的数学运算，所以这种“偏科生”反而很吃香。

再说盘古。它不是某一个聊天机器人，而是一整个大模型家族，有处理语言的、有看图像的、也有面向行业场景的版本。我一开始也误会过，以为盘古就是一个对标聊天助手的产品，后来才明白，它更像是一套“底座”：企业和开发者可以在上面结合自己的数据和场景，做客服、质检、天气预报、药物研发这类具体的事情。对学生来说，盘古的意义不在于它会不会聊天，而在于它提供了一种“模型可以为具体任务服务”的思路。

这里有个关键概念，搞懂之后省了我不少焦虑，就是训练和推理的区别。训练是“教模型学习”，要喂海量数据、烧大量算力，一般学生确实玩不起；推理是“让学好的模型干活”，比如输入一段文字、让它做分类、摘要或者问答，成本要低得多。我们平时在网页和 App 里用大模型，基本都是在用推理服务，而不是自己从头训练。也就是说，没显卡不是死路，绕开训练、从推理入手，就已经能做很多事了。

那么推理服务跑在哪里？答案就是云上。华为云上有面向 AI 的云服务，底层用昇腾算力，上层提供模型调用的接口。对我来说，这个模式最大的好处是“按需使用”：有想法的时候调几次接口验证一下，没想法的时候不用为一块显卡交电费、占宿舍地方。以前我总觉得上云是企业的事，现在才发现，学生做课程项目、验证一个小点子，恰恰最适合这种用多少付多少的方式。

我自己的小实验也很简单，没搞什么高大上的东西。课程项目要对一堆用户反馈做分类，我先用最笨的办法写规则，发现同义词一多就崩了；后来改成调用现成的语言模型服务做分类和摘要，效果立刻稳了很多。这个过程让我学到的不是某个 API 的参数，而是工作方式的转变：先把问题定义清楚，再找合适的模型帮忙，而不是一上来就想着自己训练一个模型。代码量没增加多少，但项目一下子像样了。