WebSocket 接入:和 HTTP 场景完全不同的调度逻辑
很多人以为 WebSocket 只是「换个传输方式」,在网关里它带来的是一套不同的规则:选渠道的时机、换不换渠道、并发槽位怎么占。
选渠道只在建立连接时发生
一条连接会承载多轮交互。连接建立时根据 URL 里可见的模型和请求头选一次渠道,之后整条连接固定用它。
WebSocket 和 HTTP 的关键差异是:一条连接会承载多轮交互。
所以 WebSocket 只在建立连接前选一次渠道,整条连接固定使用它并占用一个并发槽位。
连接内不换号也不建跨连接绑定
连接内不会为每一轮单独换渠道,也不会为每一轮生成 response ID 建立跨连接绑定。这是和 HTTP 场景最大的区别。
如果在连接中途把底层渠道换掉,前一轮的上下文状态就丢了。
连接占用一个并发槽位
一条长连接会长时间占住一个账号的并发额度。如果并发上限是按请求数算的而不是按连接数算的,长连接场景会严重超卖。
同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。
所以比较的是负载率(当前活跃 / 并发上限),没有上限时分母按 1 处理。
连接级的权限检查只做一次
连接建立时的授权检查通过后,连接内不再重复检查。这要求连接建立时的校验足够严格。
所以完整 Key 应该尽量一次性展示、用完即弃,最多缓存极短时间。
而且权限检查必须落在后端:隐藏菜单不能替代授权,列表、详情、聚合、更新、删除每一条路径都要单独检查作用域。
实操:Go 里直接用标准库,示例更贴近网关协议本身。
如果要接 WebSocket,同样先确定它走的是哪条协议路径。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io"
"net/http"
)
func chat(prompt string) (string, error) {
body, _ := json.Marshal(map[string]any{
"model": "gpt-6-sol",
"messages": []map[string]string{
{"role": "user", "content": prompt},
},
})
req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
bytes.NewReader(body))
req.Header.Set("Authorization", "Bearer "+apiKey)
req.Header.Set("Content-Type", "application/json")
resp, err := http.DefaultClient.Do(req)
if err != nil {
return "", err
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusOK {
b, _ := io.ReadAll(resp.Body)
return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
}
var out struct {
Choices []struct {
Message struct{ Content string } `json:"message"`
} `json:"choices"`
}
if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
return "", err
}
return out.Choices[0].Message.Content, nil
}
几个容易踩的坑
- 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
- 分组停用后请求回退到公开池,专属资源形同虚设。
- 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
- 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。
小结
把可观测性做在前面,后面所有的优化才有依据。
文中的示例接口都可以在 https://aiminis.info/ 上直接验证,用量与额度在用户中心 https://aiminis.info/console 随时可查。
- 点赞
- 收藏
- 关注作者
评论(0)