冷却策略:让一条坏线路真正退出轮转
上游线路出问题时,最容易犯的错误是「冷却时间太短」,结果它刚恢复就又被选中、刚被选中又失败,流量在两条坏线路之间来回弹。
冷却时间要按原因分级
上游明确返回 429,参考它的 Retry-After;凭据相关的拨号失败说明账号或网络有问题,冷却要长得多;持续过载则需要更久。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
把不同原因映射到不同冷却时长,是让一个渠道真正「退出轮转」而不是「很快又被选中」的关键。
失败类型决定要不要冷却
只有明确的暂时性故障才应该把渠道移出轮转。请求级错误(参数错、上下文超长、内容过滤)不该冷却——它们不代表线路有问题。
同时还有更严格的门槛:只有明确的暂时性故障(401/403/429/502/503/504、OAuth 刷新失败、连接拨号失败)才允许切换。
像 context_length_exceeded、invalid_request_error、content_filter 这类请求级错误不触发切换,因为换渠道同样会失败。
冷却期间请求自动分流
被冷却的渠道不参与候选,后续请求自动落到其他线路,用户无感知。这是冷却机制的主要价值。
同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。
冷却期间该渠道不参与候选,请求会自动落到其他线路上。
冷却与失败率要一起看
如果某条线路的失败率高但很少被冷却,说明判定逻辑有问题;反之冷却过于频繁则说明阈值太敏感。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
另外要区分「上游故障率」和「本站请求失败率」——输入被拒、额度用尽也会计为失败,但它不是上游的问题。
实操:按 Key 分组隔离资源的思路在配置侧是什么样。
分组和优先级可以配合,用来隔离实验线路的抖动。
# 分组决定了一个 Key 能看到哪些渠道。
# 三种状态的语义完全不同:
# 未绑定分组 → 所有「启用 + 公开」分组里的渠道
# 绑定公开分组 → 仅该组渠道
# 绑定专属分组 → 仅该组渠道(组停用/为空 → 直接拒绝,不回退)
# 配置专属渠道的顺序有讲究:
# 1. 新建分组,类型设为「专属分组」,加入目标渠道
# 2. 把这些渠道从所有公开分组里移除
# (只要还挂在任何公开分组,未绑定的 Key 就仍能用它)
# 3. 创建 Key 时选择该分组并保存
# 4. 之后要恢复,解除 Key 绑定即可回到公开池
几个容易踩的坑
- 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
- 分组停用后请求回退到公开池,专属资源形同虚设。
- 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
- 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。
小结
技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。
对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。
- 点赞
- 收藏
- 关注作者
评论(0)