MaaS 模型即服务上选型的三个实战考量：时延、成本与可观测性

把大模型能力接入业务时，很多团队的第一反应是"先跑通再说"，但真正上线后踩坑的往往是选型阶段没想清楚的三件事。结合在华为云 MaaS（模型即服务）上的实践，谈谈我总结的三个实战考量。

考量一：时延不是平均值，是尾部值

压测时看平均时延很容易误判。对话类业务真正的体验瓶颈在 P95/P99 首字时延。建议在 MaaS 上做选型测试时，直接用生产规模的并发去打，记录首 token 时间分布而不是总耗时分布。同一档位的两个模型，平均时延接近但尾部表现可能差一倍。

考量二：成本要按"任务"算，不要按 token 算

不同模型的计价单价差异很大，但更关键的是完成任务所需的 token 总量。一个单价贵 30% 但输出更精炼的模型，端到端成本反而可能更低。实测时把提示词、重试、上下文拼接的隐性 token 都算进去，用任务口径对比才有意义。

考量三：可观测性决定后续迭代速度

接入后必然要持续调优，这时模型服务的日志、用量统计和版本管理能力就很重要。MaaS 控制台的调用监控可以直接看成功率与时延曲线，配合统一的请求 ID 做全链路追踪，排查badcase 的效率完全不同。选型时不妨先跑一周，把观测数据拉出来再定。

总结：先定尾部时延预算，再按任务口径算成本，最后确认观测能力齐不齐——三步走完，模型选型就从玄学变成工程。