写给后端工程师的 AI 网关笔记

举报
Rolle 发表于 2026/11/15 18:27:37 2026/11/15
【摘要】 这篇更偏向个人经验沉淀:过去一年在 AI 网关这个方向上踩过的坑,如果重来一次我希望自己一开始就知道。

这篇更偏向个人经验沉淀:过去一年在 AI 网关这个方向上踩过的坑,如果重来一次我希望自己一开始就知道。

先想清楚异常分支再动手

happy path 一天就能写完,异常分支花掉你后面三个月的时间。上线前把每种上游故障的应对方式写下来。

不是写一个反向代理,而是让它在异常情况下表现正确。

这些场景每一个都需要单独的回归测试,而测试用例的数量通常比 happy path 多得多。

重试边界是最容易搞错的一处

把「什么错误值得重试」写成一节文档,贴在代码旁边。它值得反复看。

所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。

工具调用的复杂度被严重低估

单轮跑通不代表多轮跑通,多轮跑通不代表流式跑通。这三个维度要分别测。

文本透传是最简单的路径,工具调用才是检验一个网关成色的地方。

所以做工具调用的第一天,不要急着接 Agent 框架,先用最朴素的 curl 把单轮工具调用跑通。

没有观测就没有运维

上线那天你会发现,出问题的时候你不知道发生了什么。观测要在写第一行业务代码之前就搭好。

如果看完看板还得去翻日志,那这块就没做对。

一个实用的做法是:把看板链接直接放进你的运维文档和错误提示里。

实操:Go 里直接用标准库,示例更贴近网关协议本身。

从这条 curl 开始,但先把 request_id 串起来。

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io"
	"net/http"
)

func chat(prompt string) (string, error) {
	body, _ := json.Marshal(map[string]any{
		"model": "gpt-6-sol",
		"messages": []map[string]string{
			{"role": "user", "content": prompt},
		},
	})

	req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
		bytes.NewReader(body))
	req.Header.Set("Authorization", "Bearer "+apiKey)
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return "", err
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		b, _ := io.ReadAll(resp.Body)
		return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
	}

	var out struct {
		Choices []struct {
			Message struct{ Content string } `json:"message"`
		} `json:"choices"`
	}
	if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
		return "", err
	}
	return out.Choices[0].Message.Content, nil
}

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。

如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。