多渠道下的会话亲和:为什么它比看起来更难
会话亲和听起来只是「记住上次用的那个」,但实际上有一堆边界条件,处理不好就会出现「绑定的会话莫名跑到别的账号去了」。
绑定的隔离维度
会话绑定隔离到 Key、分组和模型三者。一个会话在 A 模型上的绑定,不会影响同 Key 在 B 模型上的选择。
把渠道分到专属分组,只绑定给特定 Key,就能实现「某类业务独享某条线路」。
这里有个必须守住的原则:绑定了分组的 Key,一旦分组被停用或为空,就是拒绝请求,不回退到公开池。
标识来源有明确的优先级
按 session-id、session_id、conversation_id、X-Session-Affinity、X-Session-Id、X-OpenCode-Session、X-Conversation-ID 的顺序取第一个非空值,都为空则用 prompt_cache_key。
网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
超时与容量
绑定有效期一小时,过期后重新按规则选。运行状态还有内存容量上限,淘汰后的绑定无法恢复。
同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。
只存摘要,不存原文
保存的索引是 SHA-256 摘要,运行状态不保存原始会话值、正文或凭据。这既是性能考虑也是隐私要求。
常见做法是给订单一个能力凭证(放在 X-Payment-Token 头里),数据库只存摘要。
实操:Python 官方 SDK 接入。
在多轮请求里带上同一个会话头,观察请求是否稳定落在同一条线路。
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["GATEWAY_API_KEY"], # 别写进代码
base_url="https://aiminis.info/v1", # 只写前缀,不要拼完整路径
)
resp = client.chat.completions.create(
model="gpt-6-sol",
messages=[{"role": "user", "content": "解释一下什么是 API 网关"}],
)
print(resp.choices[0].message.content)
几个容易踩的坑
- 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
- 分组停用后请求回退到公开池,专属资源形同虚设。
- 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
- 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。
小结
先跑通最小请求,再逐项加功能——这是接入任何网关都适用的节奏。
如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。
- 点赞
- 收藏
- 关注作者
评论(0)