多模态应用的落地观察

文本之外，图像、语音、视频能力的成熟正在打开新场景。分享几个多模态项目实战中的观察和经验。

多模态不是炫技，要解决真问题。 我做过的两个对比鲜明的项目：一个“拍照识别植物”功能上线即火爆，因为用户痛点真实（这 plant 有没有毒？）；另一个多模态数字人项目，技术演示惊艳，上线三个月无人问津——用户宁愿打字。区别就在：前者是多模态才能解的问题，后者是噱头。

图像理解的任务设计很讲究。 同一个视觉模型，问“图片里有什么”效果平平，而“找出图中的安全帽佩戴违规项，以 JSON 输出位置和类型”就精准得多。多模态的 prompt 同样需要具体、结构化、可校验。

音频链路要端到端算延迟。 语音产品卡顿的元凶常是串行流水线：语音转文字→大模型→文字转语音，各环节都慢一点，整体体验就崩了。选型时优先考虑支持流式的方案，首字延迟和首声延迟是核心指标。

准确率要按“代价”分层。 图片审核错杀一条内容代价小，医疗影像误判代价大。低代价场景让模型自动跑，高代价场景必须人工复核，这个分流设计比追求模型完美更实际。

成本结构完全不同。 图像 token 消耗远高于文本，一张高清图顶几千字。上线前务必按真实图片规格测算成本，别按文本经验估计。

总结：多模态落地三问——是不是只有多模态能解？错误代价几何？成本算过账吗？三关都过，再动手不迟。