端侧 AI 实战：把大模型塞进手机和汽车

摘要：当推理能力被蒸馏、权重被量化，大模型开始"搬家"——从数据中心搬进手机、汽车、电脑和眼镜。本文分析端侧 AI 的真实驱动力与硬约束，拆解"蒸馏 + 量化"的技术配方与端云协同架构，给出端侧落地的场景判断清单。

一、为什么大模型非要"下端"

云端推理已经如此强大便宜，为什么产业界还在拼命把模型往设备里塞？四个驱动力，每个都打在要害上：

隐私：健康数据、语音对话、相册内容，很多场景下用户与企业都不希望原始数据离开设备。端侧推理让"数据不出门"成为架构属性而非承诺；
延迟：云端一来一回，网络抖动就是体验杀手。端侧推理没有网络往返，交互可以做到"边说边想"的即时感；
离线：隧道里的车机、电梯里的语音助手、无网环境的生产设备——智能不能因断网而消失；
成本：对高频调用的功能，端侧推理的边际成本接近于零，不需要为每一次唤醒付云端账单。

一句话：**云端智能是"租来的"，端侧智能是"自己的"。**关键场景的核心体验，终究要握在自己手里。

二、硬约束：端侧的三座大山

端侧的现实约束同样锋利，三座大山：

内存：手机留给 AI 的运行内存通常以 GB 计。模型权重 + KV Cache + 运行时开销都要塞进去，这直接决定了端侧模型的参数上限——3B~7B 是当前的甜点区，更大就要动用更多交换与妥协；
功耗与散热：连续推理对手机是"烫手"的工作，温控降频会让性能断崖。功耗预算比算力峰值更真实地决定了"能连续干多久"；
算力碎片化：不同设备的 NPU/GPU/DSP 算力、精度支持、指令集差异巨大，"一次开发、处处流畅"在今天仍是理想主义。

这三座山决定了端侧模型选型的第一原则：端侧拼的不是模型多强，而是单位功耗、单位内存下的可用智能。

三、技术配方：蒸馏打底，量化压缩

把模型塞进端侧设备，标准配方是两道工序的叠加：

**第一道：蒸馏。**如蒸馏篇所述，让小模型学习大模型的思考轨迹，把 3B 级模型的能力拉到"可用"线以上。没有这一步，纯小模型在真实任务上的表现往往令人失望——端侧模型的能力上限，主要是在数据中心的教师那里定下的。

第二道：量化。权重从 16 位压到 4 位（INT4/W4A16 一类），模型体积缩到四分之一以内。7B 模型的权重从 14 GB 压到 4 GB 左右，主流手机才装得下。端侧量化比云端更激进，因此量化感知训练（训练时就模拟量化误差）比训练后量化更常见——端侧对每个精度点的损失都更敏感。

两道工序之外还有配套工程：算子优化与运行时（针对 NPU 特性的算子库与图编译，同一模型在不同硬件上的速度可差数倍）、** speculative decoding 的端侧变体**（设备自身大小核配合，小核起草、大核验证）、显存级的 KV Cache 管理（端侧内存寸土寸金，KV 量化与滑窗淘汰是标配）。

四、端云协同：不是替代，是分工

实践中没有任何严肃产品是"纯端侧"的——正确的架构是端云协同，其核心是一层智能路由：

• 简单、高频、敏感的任务走端侧：语音唤醒、指令解析、通知摘要、输入法联想；
• 复杂、低频、不敏感的任务走云端：长文档分析、复杂规划、多模态生成；
• 中间态走"端侧优先、云端增强"：端侧先出初稿，云端择机精修；网络可用时同步、不可用时降级。

路由的依据包括任务复杂度估计、隐私等级、网络状态、设备温度与电量。这个路由层的设计质量，直接决定端云协同产品的体验一致性——用户不该感知到"端侧模型笨一点"，只该感知到"快、稳、安全"。

一个容易忽略的设计点：端云模型的能力差异要被产品逻辑"吸收"。端侧模型答不了的问题，产品流程应该自然地引导到云端，而不是硬让小模型硬答——掩不住的差异，就明着设计。

五、场景判断：什么值得下端

不是所有功能都值得端侧化。判断清单四问：

1. **隐私是否刚性？**数据敏感且用户在意（健康、输入内容、家庭场景），端侧优先级高；
2. **延迟是否致命？**语音交互、实时辅助，每一百毫秒都被感知；
3. **离线是否必须？**车机、户外、工业现场；
4. **频次是否够高？**日均数十次的调用才值得为它占内存；一年用三次的功能，端侧常驻是浪费。

四问中命中两条以上，端侧化才值得立项。典型的黄金场景：手机助手与输入法、车机座舱交互、办公本的会议纪要与文档摘要、可穿戴设备的健康监测。

六、结语

端侧 AI 的本质，是把智能的供给侧改革做进最后一公里：蒸馏解决"能力下得去"，量化解决"体积进得去"，运行时优化解决"跑得起来"，端云协同解决"体验上得去"。

大模型产业的重心正在从"造出更强的模型"转向"把智能送到该在的地方"——而该在的地方，终究不只是数据中心。对开发者，端侧是一块重新洗牌的新大陆：云端的经验要带，但约束、配方与设计哲学，都得从头学起。

本文是"前沿 AI 技术"系列第十一篇。系列其他文章可在作者主页查看。欢迎在评论区交流。