为什么你的流式请求偶尔「卡住不动」
「卡住不动」是流式最常见的投诉,而且它往往不是真的卡住——而是某个环节把数据攒着不发出来。等一分钟后突然整段蹦出来,用户体验极差。
缓冲是第一嫌疑人
curl 不加 -N、客户端没关闭响应缓冲、代理层开了压缩,都会让流式退化成「攒完再吐」。第一步永远是确认客户端和中间链路有没有缓冲。
真正的流式代理要处理三件事:帧的边界、上游的中途报错、以及客户端中途断开时的取消传播。
长连接不该套短写超时
一个统一的写超时在流式输出中途触发,表现就是「刚说到一半就停了」。长连接的写超时策略必须和短请求区分开。
对长连接尤其要注意——长连接不能套统一的短写超时,否则会在流式输出的中途被误杀。
如果在连接中途把底层渠道换掉,前一轮的上下文状态就丢了。
上游中途断开和上游报错是两回事
客户端收到的最后一个 SSE 事件如果是明确的 error 事件,说明网关做了正确上报;如果是戛然而止,那是真的断了。排查方向完全不同。
客户端断开连接后,如果网关不把取消信号传给上游,上游会继续把整个响应算完——这部分 token 费用是你照付的。
流式下的工具调用更容易卡
工具参数需要聚合完整才能交付,如果聚合逻辑有 bug,客户端看到的就是「前面正常吐字,然后突然不动了」。
流式场景下,工具参数是分片到达的,网关需要在内存里把它们拼接成完整 JSON。
这里必须设上限:单个请求的工具参数总量、工具调用个数、以及非流式响应体大小,都要有硬顶。
实操:流式请求:注意看 SSE 的事件边界。
用 -N 跑一次,如果流畅了,那问题在你的客户端而不在网关。
curl -N "https://aiminis.info/v1/chat/completions" \
-H "Authorization: Bearer sk-gw-你的密钥" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-6-sol",
"messages": [{"role": "user", "content": "写一段关于 API 网关的技术介绍"}],
"stream": true
}'
# -N 关闭缓冲,才能看到逐条吐字的效果。
# 上游中途失败时,你会收到一个明确的 error 事件,而不是戛然而止。
几个容易踩的坑
- 客户端没关闭响应缓冲,看起来像流式其实在攒完一次性吐出。
- 长连接套了统一的写超时,流式输出到一半被网关自己掐断。
- 把上游 HTTP 200 里裹着的 error 事件当成了正常数据解析。
- 客户端断开后没有取消上游,请求算完了但费用照付。
小结
先跑通最小请求,再逐项加功能——这是接入任何网关都适用的节奏。
文中的示例接口都可以在 https://aiminis.info/ 上直接验证,用量与额度在用户中心 https://aiminis.info/console 随时可查。
- 点赞
- 收藏
- 关注作者
评论(0)