写给后端工程师的 AI 网关笔记
这篇更偏向个人经验沉淀:过去一年在 AI 网关这个方向上踩过的坑,如果重来一次我希望自己一开始就知道。
先想清楚异常分支再动手
happy path 一天就能写完,异常分支花掉你后面三个月的时间。上线前把每种上游故障的应对方式写下来。
不是写一个反向代理,而是让它在异常情况下表现正确。
这些场景每一个都需要单独的回归测试,而测试用例的数量通常比 happy path 多得多。
重试边界是最容易搞错的一处
把「什么错误值得重试」写成一节文档,贴在代码旁边。它值得反复看。
所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。
工具调用的复杂度被严重低估
单轮跑通不代表多轮跑通,多轮跑通不代表流式跑通。这三个维度要分别测。
文本透传是最简单的路径,工具调用才是检验一个网关成色的地方。
所以做工具调用的第一天,不要急着接 Agent 框架,先用最朴素的 curl 把单轮工具调用跑通。
没有观测就没有运维
上线那天你会发现,出问题的时候你不知道发生了什么。观测要在写第一行业务代码之前就搭好。
如果看完看板还得去翻日志,那这块就没做对。
一个实用的做法是:把看板链接直接放进你的运维文档和错误提示里。
实操:Go 里直接用标准库,示例更贴近网关协议本身。
从这条 curl 开始,但先把 request_id 串起来。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io"
"net/http"
)
func chat(prompt string) (string, error) {
body, _ := json.Marshal(map[string]any{
"model": "gpt-6-sol",
"messages": []map[string]string{
{"role": "user", "content": prompt},
},
})
req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
bytes.NewReader(body))
req.Header.Set("Authorization", "Bearer "+apiKey)
req.Header.Set("Content-Type", "application/json")
resp, err := http.DefaultClient.Do(req)
if err != nil {
return "", err
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusOK {
b, _ := io.ReadAll(resp.Body)
return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
}
var out struct {
Choices []struct {
Message struct{ Content string } `json:"message"`
} `json:"choices"`
}
if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
return "", err
}
return out.Choices[0].Message.Content, nil
}
几个容易踩的坑
- 只实现了 happy path,异常分支一条没测。
- 把上游凭据明文存库,或者在后台详情里返回完整 Key。
- 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
- 以为「反向代理写完」就是网关做完了。
小结
网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。
如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。
- 点赞
- 收藏
- 关注作者
评论(0)