多渠道调度怎么设计:优先级、会话亲和、负载与冷却

举报
Rolle 发表于 2026/11/15 17:32:38 2026/11/15
【摘要】 当上游不止一条线路时,「选谁」就成了一个问题。最朴素的实现是随机选,结果是好的线路没被用上、差的线路被打爆,而且完全说不清某次请求为什么走了那条路。

当上游不止一条线路时,「选谁」就成了一个问题。最朴素的实现是随机选,结果是好的线路没被用上、差的线路被打爆,而且完全说不清某次请求为什么走了那条路。

五级顺序,每级都有明确语义

授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。第一级是硬门槛:不在你的授权池里就根本不会被选中;后面几级是软策略,用来把流量摊匀。

网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。

剩下的几级都是软策略,目的是在合规的前提下把流量摊匀。

优先级是降序,数值越大越优先

这个约定一定要写进文档并配回归用例。实现成升序是个非常隐蔽的 bug——功能测试全过,只有高峰期才暴露高端线路压根没被用上。

很多调度实现把「优先级数值越大越优先」写成了升序,结果高端渠道永远排在后面。

所以「数值越大越优先」这类约定必须写进文档,并且有对应的回归用例。

负载率要算分母

同时比较活跃请求数是不够的:上限 100 当前 1,和上限 2 当前 1,实际压力完全不同。所以比的是负载率,没设上限时分母按 1 处理,再比最近使用次序。

同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。

所以比较的是负载率(当前活跃 / 并发上限),没有上限时分母按 1 处理。

冷却时间要区分原因

上游明确返回 429 该等 Retry-After;凭据相关的拨号失败说明账号或网络有问题,冷却要更长。把不同原因映射到不同冷却时长,渠道才能真正退出轮转。

上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。

把不同原因映射到不同冷却时长,是让一个渠道真正「退出轮转」而不是「很快又被选中」的关键。

实操:多业务线共用一个网关时,按分组隔离资源。

分组让「专属资源」成为可能,也让调度规则可以被业务方理解。

# 在后台「资源 → Key 分组」里建一个专属分组,
# 把指定的渠道移进去(注意:同一个渠道只要还挂在任何公开分组里,
# 未绑定的 Key 就仍然能用它,所以要从所有公开分组移除)。

# 然后在创建 Key 时选择这个专属分组:
#   → 未绑定分组的 Key:能用所有公开分组里的渠道
#   → 绑定专属分组的 Key:只能用该组渠道
#   → 分组被停用 / 为空:直接拒绝,不回退到公开池

几个容易踩的坑

  • 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
  • 分组停用后请求回退到公开池,专属资源形同虚设。
  • 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
  • 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。

小结

把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。

对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。