大模型塞进手机：你的下一次"离线"可能比你想的近

你有没有注意到，去年开始，手机厂商开发布会不再只比摄像头了。

苹果讲 Apple Intelligence，小米讲端侧大模型，vivo 讲蓝心小模型，荣耀讲任意门，OPPO 讲安第斯大模型。名字花里胡哨，但干的事其实一样：把一个大语言模型塞进手机里，不联网也能跑。

这事听起来挺玄的。ChatGPT 在云端跑，背后是几万张 A100 显卡，你手机就一块巴掌大的芯片，凭什么？

云端 AI 有什么问题

你跟 ChatGPT 说一句话，这段文字先传到 OpenAI 的服务器，过一遍模型，生成回复，再传回来。一来一回，网络延迟至少几百毫秒，加上推理时间，等个一两秒算快的。

这还只是延迟的问题。更大的问题是钱。

大模型推理是吞金兽。GPT-4 级别的模型，一次推理的算力成本在美分级别——听着不多，乘以几亿用户每天几十次调用，OpenAI 一年的推理成本是几十亿美元。这钱要么用户出（订阅费），要么投资方出（烧钱），没有第三条路。

手机厂商算的是另一笔账。如果每台手机的 AI 功能都走云端，一亿活跃用户，每人每天调十次，一年下来服务器成本是个天文数字。而且用户还不一定愿意为这个付月费——你看 Siri 免费了十几年，突然要收费，谁买账？

所以把模型搬进手机，让用户自己的芯片来跑推理，对厂商来说不是技术炫技，是算账算出来的必然。

手机里到底塞了个多大的模型

先说结论：不大。

现在端侧跑的语言模型，参数量普遍在 1B 到 7B 之间（10 亿到 70 亿参数）。作为对比，GPT-4 的参数量估计在万亿级别，差了两三个数量级。

但参数少不代表没用。Meta 的 Llama 3.2 1B 和 3B 模型、Qwen2.5 的 1.5B 和 3B、小米的 MiMo 7B，这些模型在常见任务上——摘要提取、短文润色、问答、意图识别——表现已经够用了。不是"惊艳"，是"够用"。你让它在手机上帮你把一段语音转成文字再提炼要点，或者判断你这句话是想定闹钟还是想搜餐厅，它干得来。你让它写一篇五千字的深度报告，它干不来。

这里有个很现实的定位问题：端侧模型不是用来替代云端大模型的，是用来做那些不值得上云的小事的。

你问"帮我写一首关于秋天的诗"，这种需要创造力的活，该走云端大模型。你说"把这段会议录音的要点列出来"，这种理解加归纳的活，端侧就能干，而且不用等网络、不用花厂商的服务器钱、不用担心会议内容传到第三方服务器上。

隐私这个点其实比很多人意识到的更重要。你的微信聊天记录、你的备忘录、你的相册里的文字识别——这些东西你愿意传到某个云端的 API 上吗？在手机本地跑，数据不出设备，这个对很多用户来说是刚需，不是锦上添花。

一个模型怎么塞进手机的

这里说点技术的东西，尽量讲人话。

一个 7B 参数的模型，如果用最常见的方式存（FP16 精度，每个参数 2 字节），需要 14GB 内存。你手机总共可能就 8GB、12GB 内存，光存模型就占完了，别的什么都干不了。

所以第一步是量化——把每个参数从 16 位压缩到 4 位甚至 2 位。4-bit 量化之后，7B 模型只需要 3.5GB 左右。精度会掉一些，但研究发现掉得没你想的那么多。日常对话和简单任务上，4-bit 量化的模型跟全精度模型的表现差异，普通用户感知不到。

第二步是让模型跑在 NPU 上，不是 CPU。NPU 就是手机芯片里专门做 AI 计算的那块。现在主流手机 SoC——骁龙 8 Gen 3、天玑 9300、麒麟 9010、苹果 A17 Pro——都带了 NPU，算力从十几 TOPS 到几十 TOPS 不等。NPU 跑矩阵乘法比 CPU 快一个数量级，而且功耗低得多。用 CPU 跑 7B 模型，手机三分钟变暖手宝；用 NPU 跑，功耗能压在几瓦以内。

第三步是内存管理。模型加载进内存之后不能一直占着，系统得能在不用的时候把它换出去，用的时候再加载进来。这中间的加载延迟很影响体验——如果用户喊一声"帮我总结这段话"，模型加载就要五秒，那体验就崩了。所以现在厂商在搞常驻内存 + 按需加载的混合策略，常用的小模型常驻，大模型按需加载。

这三步做完，一个 7B 模型在手机上跑起来，首字延迟（就是你发完消息到第一个字蹦出来的时间）能压到一秒以内，生成速度大概每秒 20-40 个 token。跟云端 GPT-4 的速度比有差距，但跟两三年前比已经是天壤之别了。

实际体验到底怎么样

我手头能测的有限，说几个公开能查到的数据和自己的体感。

苹果的 Apple Intelligence 在 iPhone 15 Pro 及以上机型上跑，端侧模型参数量没公开，但外界推测在 3B 左右。它做的事比较克制——写作润色、摘要、通知优先级排序、Siri 的意图理解。不是让你跟它聊天，是嵌进系统功能里当引擎用。这个定位很聪明，因为端侧模型干不了通用聊天，但干特定任务绰绰有余。苹果的实测体验，写作润色和摘要基本秒出结果，因为任务简单、输出短。

小米的 HyperOS 里集成了 MiMo 7B，可以离线对话。实际跑起来，首字延迟大概 1-2 秒，生成速度每秒 15-25 个字，对话质量跟早期 ChatGPT（GPT-2/3 那个级别）差不多。能聊，但你不会觉得它有多聪明。复杂一点的逻辑推理就胡说八道。这个体验跟"云端大模型"的差距是肉眼可见的。

但换个场景看。你用端侧模型做语音助手的意图识别——"明天早上八点提醒我开会"→ 提取时间 + 事件 → 设闹钟——这种任务 1B 模型就够了，而且比传统规则引擎灵活得多。以前 Siri 识别不了"明天亮的时候叫我"，端侧模型能理解"亮的时候"是早晨。这个体验提升是实打实的。

所以现阶段端侧 AI 的正确打开方式不是"离线 ChatGPT"，而是系统级的智能增强。你的输入法更聪明了，你的相册搜索更准了，你的通知排序更合理了，背后是端侧模型在干活，但你感知不到"模型"的存在。这个体验反而比给你一个聊天框要好。

什么时候端侧能跑大模型

这个问题被问得很多，我的判断是：三年内，手机端侧能跑 13B 左右的模型，体验接近 GPT-3.5。

依据是三条线在同步往前推：

芯片端，NPU 算力每年翻倍。骁龙 8 Gen 3 的 NPU 算力是 8 Gen 1 的四倍多，这个增长速度没慢下来。内存也在涨，16GB 已经是旗舰标配，24GB 的机型也出了。

模型端，小模型的能力在快速提升。两年前 7B 模型还是玩具，现在 Qwen2.5-7B 和 Llama 3.2-3B 在很多 benchmark 上已经接近 GPT-3.5。模型蒸馏和量化技术也在进步，同样参数量能装下更多能力。

系统端，iOS 和 Android 都在把 AI 能力做成系统级 API。开发者不用自己搞定模型加载和推理，调系统 API 就行。这会催生一大波端侧 AI 应用——不是聊天机器人，是真正嵌进工作流里的智能功能。

但 GPT-4 级别？短期内不可能。那个量级的模型需要的算力和内存，手机这个形态给不了。端侧和云端会长期共存：小事在本地秒出结果，大事上云要质量。手机系统做路由——简单任务本地处理，复杂任务问你要不要走云端，走云端可能要收费或者要联网。这个分工在几年内会变成基础设施一样的存在，像现在你手机有些操作在线做有些离线做一样自然。

一个被忽略的问题

最后说一个不太被讨论的事：端侧模型的更新。

云端模型更新很容易，服务端换个权重文件，所有用户立刻用上新版。端侧模型装在你手机里，更新意味着下载几个 GB 的模型文件，走 OTA 推送。一亿台手机，每个下载 3GB，这是多大的带宽成本和存储压力？而且不是所有用户都会更新——很多人手机存储快满了，你让他下一个 3GB 的模型包，他直接点取消。

所以端侧模型的迭代速度天然比云端慢。云端模型可以一天迭代三次，端侧模型可能一个月推一次更新，还得考虑老机型兼容、存储空间不够的用户怎么办。这意味着端侧模型在能力上会持续落后云端一截——不是技术做不到，是分发机制决定的。

这个问题的解法现在还没人给出。模型差分更新（只下载变化的部分）是一个方向，但大模型的权重差分压缩率不理想，因为微调之后几乎每个参数都变了一点点。把模型拆成 base + adapter，只推 adapter，能小很多，但架构复杂度上去了。这是个工程问题，不是研究问题，迟早能解，但现在还早。