大模型 Function Calling 落地踩坑记:协议细节比模型能力更致命
最近在给一个鸿蒙端云一体的项目加 AI 助手能力(就是那种"帮我查一下最近的备份记录、顺便把异常照片标出来"的场景),后端走 Function Calling 让大模型直接调云函数。功能三天就通了,但真正花时间的全在协议细节上。把踩过的坑记下来,希望能让后来人少熬几个夜。
坑一:工具描述写不清,模型就开始"编参数"。 第一版我把云函数的 schema 写得非常随意,参数只有名字没有说明。结果模型每次都自信满满地传参数——日期传成"昨天"、相册 ID 传成相册名字。模型不是不想对,是它根本不知道 ISO8601 和业务 ID 的约定。解法很朴素:每个参数的 description 里写清格式、示例值、取值范围,enum 能用就用。改完之后参数错误率直接从三成掉到接近零。工具描述本质上是一种 API 文档写作,值得用写文档的认真程度去对待。
坑二:并行调用与顺序依赖的假象。 我们有一个"统计 + 明细"的组合查询,早期实现里模型经常把两个调用并发发出去了,但第二个调用依赖第一个的结果做过滤。Function Calling 协议本身支持一次返回多个 tool_calls,但这不代表业务上真的可以并行。解法是在工具描述里显式声明依赖关系("调用本工具前必须先获得 xxx 的结果"),或者干脆把两个查询合并成一个聚合函数——后者反而更稳,减少一轮往返延迟。
坑三:错误处理别撒谎。 云函数执行失败时,第一版我直接返回空结果,模型就会一本正经地编造一个"查询成功但无数据"的回复,用户被误导得很彻底。后来改成把结构化错误(错误码 + 人话描述)塞回 tool 结果里,模型立刻能正确地转述失败原因并建议重试。大模型对错误信息的理解能力远超预期,前提是你别在工具层把错误吞掉。
坑四:超时和重试要在网关层做,别指望模型。 模型发起的调用没有内建超时概念,一个卡住的云函数会让整轮对话挂死。我们在网关层给每个工具调用加 10 秒超时和一次幂等重试,超时后返回明确的 timeout 错误让模型决策"重试还是降级"。这一层做了之后,端到端可用性才真正达到了生产标准。
回头看,Function Calling 的瓶颈几乎都不在模型侧,而在工具层的设计质量。schema 即文档、依赖即声明、错误即数据、超时即产品——这四句话是我这次落地后总结的全部心法。模型能力在快速进步,但这些工程细节不会因为换个更强的模型就自动消失,它们值得在最开始就被认真对待。
(作者按:文中端云一体场景参考了华为云开发者社区鸿蒙实践案例的云函数架构,端侧 ArkTS + 云侧 Serverless 函数的组合,与 AI 工具链的整合思路一致。)
- 点赞
- 收藏
- 关注作者
评论(0)