WebSocket 接入:和 HTTP 场景完全不同的调度逻辑

举报
Rolle 发表于 2026/11/15 18:05:21 2026/11/15
【摘要】 很多人以为 WebSocket 只是「换个传输方式」,在网关里它带来的是一套不同的规则:选渠道的时机、换不换渠道、并发槽位怎么占。

很多人以为 WebSocket 只是「换个传输方式」,在网关里它带来的是一套不同的规则:选渠道的时机、换不换渠道、并发槽位怎么占。

选渠道只在建立连接时发生

一条连接会承载多轮交互。连接建立时根据 URL 里可见的模型和请求头选一次渠道,之后整条连接固定用它。

WebSocket 和 HTTP 的关键差异是:一条连接会承载多轮交互。

所以 WebSocket 只在建立连接前选一次渠道,整条连接固定使用它并占用一个并发槽位。

连接内不换号也不建跨连接绑定

连接内不会为每一轮单独换渠道,也不会为每一轮生成 response ID 建立跨连接绑定。这是和 HTTP 场景最大的区别。

如果在连接中途把底层渠道换掉,前一轮的上下文状态就丢了。

连接占用一个并发槽位

一条长连接会长时间占住一个账号的并发额度。如果并发上限是按请求数算的而不是按连接数算的,长连接场景会严重超卖。

同为两个空闲渠道,比较活跃请求数是不够的——一个上限 100 并发、当前 1 个,和一个上限 2 并发、当前 1 个,实际压力完全不同。

所以比较的是负载率(当前活跃 / 并发上限),没有上限时分母按 1 处理。

连接级的权限检查只做一次

连接建立时的授权检查通过后,连接内不再重复检查。这要求连接建立时的校验足够严格。

所以完整 Key 应该尽量一次性展示、用完即弃,最多缓存极短时间。

而且权限检查必须落在后端:隐藏菜单不能替代授权,列表、详情、聚合、更新、删除每一条路径都要单独检查作用域。

实操:Go 里直接用标准库,示例更贴近网关协议本身。

如果要接 WebSocket,同样先确定它走的是哪条协议路径。

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io"
	"net/http"
)

func chat(prompt string) (string, error) {
	body, _ := json.Marshal(map[string]any{
		"model": "gpt-6-sol",
		"messages": []map[string]string{
			{"role": "user", "content": prompt},
		},
	})

	req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
		bytes.NewReader(body))
	req.Header.Set("Authorization", "Bearer "+apiKey)
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return "", err
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		b, _ := io.ReadAll(resp.Body)
		return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
	}

	var out struct {
		Choices []struct {
			Message struct{ Content string } `json:"message"`
		} `json:"choices"`
	}
	if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
		return "", err
	}
	return out.Choices[0].Message.Content, nil
}

几个容易踩的坑

  • 把「优先级数值越大越优先」实现成了升序,高端线路永远排在后面。
  • 分组停用后请求回退到公开池,专属资源形同虚设。
  • 所有渠道满载时建立共享等待队列,抖动瞬间变成雪崩。
  • 冷却时间一刀切,导致上游早就恢复了渠道还在轮转外。

小结

把可观测性做在前面,后面所有的优化才有依据。

文中的示例接口都可以在 https://aiminis.info/ 上直接验证,用量与额度在用户中心 https://aiminis.info/console 随时可查。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。