会话亲和:为什么你的 prompt cache 一直不命中
同一段很长的系统提示词,每次请求都完整送一遍,钱花在重复内容上——而缓存明明就在上游那里躺着。命中率低的原因通常不在缓存本身,而在请求被路由到了不同的账号。
会话标识从哪来
网关按优先级读取 session-id、session_id、conversation_id、X-Session-Affinity、X-Session-Id、X-OpenCode-Session、X-Conversation-ID 这些请求头;一个都没有时,退而使用 JSON 里的 prompt_cache_key。
网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。
绑定有明确的边界
标识超过 1024 字节不建立绑定(这不是为了限制你,是防止有人塞大段正文进来当键);绑定隔离到 Key、分组和模型,有效期一小时,存储时只保存 SHA-256 摘要而不是原始值。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
亲和是省钱项,不是优化项
缓存命中与否直接决定 token 成本。会话在账号之间来回跳,缓存就永远命中不了。所以「会话亲和」在成本视角下比在性能视角下更值钱。
所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。
这也解释了会话亲和为什么不是「优化项」而是「省钱项」。
亲和状态是可以被观测的
网关会在成功的 HTTP 响应里把 resp_ 开头的 ID 按 Key 和分组绑定到渠道,一小时有效。看到这个 ID 在后续请求里失效,通常说明候选池变了,而不是缓存本身的问题。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。
实操:Python 官方 SDK 接入。
带上 prompt_cache_key 或自定义会话头,观察同样的内容在多轮里是否复用。
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["GATEWAY_API_KEY"], # 别写进代码
base_url="https://aiminis.info/v1", # 只写前缀,不要拼完整路径
)
resp = client.chat.completions.create(
model="gpt-6-sol",
messages=[{"role": "user", "content": "解释一下什么是 API 网关"}],
)
print(resp.choices[0].message.content)
几个容易踩的坑
- 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
- 分组停用后请求回退到公开池,专属资源形同虚设。
- 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
- 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。
小结
把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。
如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。
- 点赞
- 收藏
- 关注作者
评论(0)