多渠道调度怎么设计:优先级、会话亲和、负载与冷却
当上游不止一条线路时,「选谁」就成了一个问题。最朴素的实现是随机选,结果是好的线路没被用上、差的线路被打爆,而且完全说不清某次请求为什么走了那条路。
五级顺序,每级都有明确语义
授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。第一级是硬门槛:不在你的授权池里就根本不会被选中;后面几级是软策略,用来把流量摊匀。
网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。
剩下的几级都是软策略,目的是在合规的前提下把流量摊匀。
优先级是降序,数值越大越优先
这个约定一定要写进文档并配回归用例。实现成升序是个非常隐蔽的 bug——功能测试全过,只有高峰期才暴露高端线路压根没被用上。
很多调度实现把「优先级数值越大越优先」写成了升序,结果高端渠道永远排在后面。
所以「数值越大越优先」这类约定必须写进文档,并且有对应的回归用例。
负载率要算分母
同时比较活跃请求数是不够的:上限 100 当前 1,和上限 2 当前 1,实际压力完全不同。所以比的是负载率,没设上限时分母按 1 处理,再比最近使用次序。
同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。
所以比较的是负载率(当前活跃 / 并发上限),没有上限时分母按 1 处理。
冷却时间要区分原因
上游明确返回 429 该等 Retry-After;凭据相关的拨号失败说明账号或网络有问题,冷却要更长。把不同原因映射到不同冷却时长,渠道才能真正退出轮转。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
把不同原因映射到不同冷却时长,是让一个渠道真正「退出轮转」而不是「很快又被选中」的关键。
实操:多业务线共用一个网关时,按分组隔离资源。
分组让「专属资源」成为可能,也让调度规则可以被业务方理解。
# 在后台「资源 → Key 分组」里建一个专属分组,
# 把指定的渠道移进去(注意:同一个渠道只要还挂在任何公开分组里,
# 未绑定的 Key 就仍然能用它,所以要从所有公开分组移除)。
# 然后在创建 Key 时选择这个专属分组:
# → 未绑定分组的 Key:能用所有公开分组里的渠道
# → 绑定专属分组的 Key:只能用该组渠道
# → 分组被停用 / 为空:直接拒绝,不回退到公开池
几个容易踩的坑
- 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
- 分组停用后请求回退到公开池,专属资源形同虚设。
- 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
- 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。
小结
把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。
对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。
- 点赞
- 收藏
- 关注作者
评论(0)