为什么你的流式请求偶尔「卡住不动」

举报
Rolle 发表于 2026/11/15 17:36:39 2026/11/15
【摘要】 「卡住不动」是流式最常见的投诉,而且它往往不是真的卡住——而是某个环节把数据攒着不发出来。等一分钟后突然整段蹦出来,用户体验极差。

「卡住不动」是流式最常见的投诉,而且它往往不是真的卡住——而是某个环节把数据攒着不发出来。等一分钟后突然整段蹦出来,用户体验极差。

缓冲是第一嫌疑人

curl 不加 -N、客户端没关闭响应缓冲、代理层开了压缩,都会让流式退化成「攒完再吐」。第一步永远是确认客户端和中间链路有没有缓冲。

真正的流式代理要处理三件事:帧的边界、上游的中途报错、以及客户端中途断开时的取消传播。

长连接不该套短写超时

一个统一的写超时在流式输出中途触发,表现就是「刚说到一半就停了」。长连接的写超时策略必须和短请求区分开。

对长连接尤其要注意——长连接不能套统一的短写超时,否则会在流式输出的中途被误杀。

如果在连接中途把底层渠道换掉,前一轮的上下文状态就丢了。

上游中途断开和上游报错是两回事

客户端收到的最后一个 SSE 事件如果是明确的 error 事件,说明网关做了正确上报;如果是戛然而止,那是真的断了。排查方向完全不同。

客户端断开连接后,如果网关不把取消信号传给上游,上游会继续把整个响应算完——这部分 token 费用是你照付的。

流式下的工具调用更容易卡

工具参数需要聚合完整才能交付,如果聚合逻辑有 bug,客户端看到的就是「前面正常吐字,然后突然不动了」。

流式场景下,工具参数是分片到达的,网关需要在内存里把它们拼接成完整 JSON。

这里必须设上限:单个请求的工具参数总量、工具调用个数、以及非流式响应体大小,都要有硬顶。

实操:流式请求:注意看 SSE 的事件边界。

用 -N 跑一次,如果流畅了,那问题在你的客户端而不在网关。

curl -N "https://aiminis.info/v1/chat/completions" \
  -H "Authorization: Bearer sk-gw-你的密钥" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6-sol",
    "messages": [{"role": "user", "content": "写一段关于 API 网关的技术介绍"}],
    "stream": true
  }'
# -N 关闭缓冲,才能看到逐条吐字的效果。
# 上游中途失败时,你会收到一个明确的 error 事件,而不是戛然而止。

几个容易踩的坑

  • 客户端没关闭响应缓冲,看起来像流式其实在攒完一次性吐出。
  • 长连接套了统一的写超时,流式输出到一半被网关自己掐断。
  • 把上游 HTTP 200 里裹着的 error 事件当成了正常数据解析。
  • 客户端断开后没有取消上游,请求算完了但费用照付。

小结

先跑通最小请求,再逐项加功能——这是接入任何网关都适用的节奏。

文中的示例接口都可以在 https://aiminis.info/ 上直接验证,用量与额度在用户中心 https://aiminis.info/console 随时可查。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。