端侧大模型跑不动，别怪芯片：先算清内存带宽这道墙

端侧大模型在 2026 年已经不算新话题，手机厂商把它写进发布会 PPT，PC 厂商把它当成换机理由。但真实体验往往割裂：演示时一句话问答很流畅，一旦让它读一篇长文档、连续对话十几轮，就开始一个字一个字往外蹦，机身发热，电量肉眼可见地掉。多数人第一反应是芯片算力不行，于是等下一代 SoC。这个判断大概率是错的——端侧推理的瓶颈，八成在内存带宽。

一、推理分两段，慢的那一段几乎不吃算力
大模型推理分 prefill 和 decode 两个阶段。prefill 把整段 prompt 一次性送进网络，本质是大矩阵乘，算力密集，GPU 和 NPU 都能跑满。decode 不一样，它每一步只生成一个 token，为了产出这一个 token，必须把模型全部权重从内存搬到计算单元走一遍。算术强度低到几十次浮点运算就要搬一个字节，这时候决定速度的不是每秒能算多少次，而是内存每秒能搬多少字节。

据此可以写出一个几乎适用于所有端侧设备的估算式：每秒 token 数约等于有效内存带宽除以生成单个 token 需要搬运的字节数。

二、算一笔账：六十多 GB/s 的墙
以主流旗舰手机为例，LPDDR5X 的理论带宽在 68 至 85 GB/s 之间，考虑内存控制器效率、系统后台占用，实际可用往往只有六成左右。一个 7B 参数模型做 INT4 量化后，权重大约 3.5 至 4 GB。把 68 GB/s 除以 3.5 GB，得到理论上限接近 19 token/s；再按六成有效带宽折算，落到 11 token/s 上下。这正好对应了大量实测数据：端侧 7B 模型在手机上稳定输出普遍在 8 到 12 token/s，长上下文时更低。

对照云端，单张 H100 的 HBM3 带宽是 3.35 TB/s，是手机内存的四十到五十倍。差距不在芯片聪明程度，而在内存子系统的物理规格。这也解释了为什么端侧演示偏爱短 prompt、短输出、固定问题：prefill 阶段靠算力还能撑住，decode 一长就露馅。

三、量化省的是容量，也省带宽，但代价在别处
INT4 量化把每个权重从两字节压到半字节，权重搬运量降到四分之一，这正是端侧能跑起来的前提。但量化不是免费午餐：4 bit 在数学推理和长尾知识上掉点明显，某些模型会出现重复输出、指令跟随变差。更麻烦的是第二块隐形成本——KV Cache，它随上下文线性增长，4K 上下文下 7B 模型的 KV Cache 可能占几百 MB，每一步都要读写，进一步挤占本就不宽裕的带宽。手机还要和相机、后台应用共享同一条内存总线，实测波动远大于实验室数据。

四、真正有效的几条工程路径
既然瓶颈在搬运量，优化方向就清楚了。一是别硬塞大模型，用更小的底座加蒸馏，3B 级别的模型在垂直任务上往往比 7B 通用模型更准也更快。二是死守上下文长度，端侧产品应把历史对话做摘要压缩，而不是无限堆长。三是走 MoE 路线，每次只激活一部分专家，单 token 的权重搬运量随激活比例下降，这是端侧最划算的结构性优化。四是让权重尽量驻留在 NPU 近端存储，靠算子融合减少重复读写，这比换芯片便宜得多。最后是端云协同：意图识别、短问答放本地保隐私，长文档和复杂推理回退云端，按任务分流而不是按功能分流。

结语
端侧大模型的真正价值在于隐私不出设备、断网可用、响应无延迟，而不是把云端体验原样搬进口袋。承认内存带宽这道墙，设计才会务实：小模型做深、上下文做短、任务做分层。带宽的物理约束不会消失，谁先把这笔搬运账算清楚，谁的端侧体验就先落地。

标签：端侧推理、大模型、内存带宽、模型量化、端云协同