会话亲和:为什么你的 prompt cache 一直不命中

举报
Rolle 发表于 2026/11/15 17:30:02 2026/11/15
【摘要】 同一段很长的系统提示词,每次请求都完整送一遍,钱花在重复内容上——而缓存明明就在上游那里躺着。命中率低的原因通常不在缓存本身,而在请求被路由到了不同的账号。

同一段很长的系统提示词,每次请求都完整送一遍,钱花在重复内容上——而缓存明明就在上游那里躺着。命中率低的原因通常不在缓存本身,而在请求被路由到了不同的账号。

会话标识从哪来

网关按优先级读取 session-id、session_id、conversation_id、X-Session-Affinity、X-Session-Id、X-OpenCode-Session、X-Conversation-ID 这些请求头;一个都没有时,退而使用 JSON 里的 prompt_cache_key。

网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。

绑定有明确的边界

标识超过 1024 字节不建立绑定(这不是为了限制你,是防止有人塞大段正文进来当键);绑定隔离到 Key、分组和模型,有效期一小时,存储时只保存 SHA-256 摘要而不是原始值。

上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。

亲和是省钱项,不是优化项

缓存命中与否直接决定 token 成本。会话在账号之间来回跳,缓存就永远命中不了。所以「会话亲和」在成本视角下比在性能视角下更值钱。

所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。

这也解释了会话亲和为什么不是「优化项」而是「省钱项」。

亲和状态是可以被观测的

网关会在成功的 HTTP 响应里把 resp_ 开头的 ID 按 Key 和分组绑定到渠道,一小时有效。看到这个 ID 在后续请求里失效,通常说明候选池变了,而不是缓存本身的问题。

一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。

看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。

实操:Python 官方 SDK 接入。

带上 prompt_cache_key 或自定义会话头,观察同样的内容在多轮里是否复用。

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["GATEWAY_API_KEY"],       # 别写进代码
    base_url="https://aiminis.info/v1",           # 只写前缀,不要拼完整路径
)

resp = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[{"role": "user", "content": "解释一下什么是 API 网关"}],
)
print(resp.choices[0].message.content)

几个容易踩的坑

  • 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
  • 分组停用后请求回退到公开池,专属资源形同虚设。
  • 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
  • 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。

小结

把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。

如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。