给批量请求加个并发池:200 个请求从 16.5 秒到 1.1 秒,且零失败的实测

举报
yd_250310792 发表于 2026/10/28 08:18:10 2026/10/28
【摘要】 批量请求用 Promise.all 一把梭,207 毫秒跑完但 200 个里只成功 18 个。记录改成并发池的完整实测:串行 16.5 秒、无限并发 182 个 429、池 16 用 1.1 秒零失败,以及为什么重试救不了超阈值的并发。附可复现脚本与数据。

有个很常见的需求:调 200 次同一个接口,把结果汇总。我第一版写得很省事——Promise.all 一把梭,207 毫秒就跑完了。看着挺美,直到我去数了一下结果:200 个请求里只成功了 18 个,剩下 182 个全是 429。

这篇文章记录我把它改成一个并发池的完整实测过程,包括一组不太好解释、但很说明问题的数据。

一、先看实测数据

为了让结论能复现,我写了个 mock 后端:单请求固定 80 毫秒处理时间,同时在途请求超过 16 个就直接返回 429(这是开放 API 很典型的限流形状)。然后对同样的 200 个请求换不同跑法:

串行 await     16542 ms 成功 200 失败 0  服务端峰值在途 1
Promise.all 一把梭  207 ms 成功 18  失败 182 服务端峰值在途 198
并发池 N=4      4105 ms 成功 200 失败 0  服务端峰值在途 4
并发池 N=8      2066 ms 成功 200 失败 0  服务端峰值在途 8
并发池 N=16     1080 ms 成功 200 失败 0  服务端峰值在途 16
并发池 N=32      600 ms 成功 39  失败 161 服务端峰值在途 32

环境:Node 22.22.2,8 核,mock 服务与客户端同机。

二、Promise.all 为什么会崩

它不是"并发 200",是"同时发起 200"。服务端视角的峰值在途是 198,说明客户端真的把 198 条连接一起打出去了——Node 19 之后 http.globalAgent 的 maxSockets 默认是 Infinity,客户端这边没有任何自我保护。

最坑的地方在于它不报错。我用的是 Promise.allSettled,182 个失败静静地躺在结果数组里。如果上层只 await Promise.all(...) 然后遍历响应体,而不检查每个响应的 status,这批错误会被完全吞掉,最后表现为"数据少了一截",排查方向会跑偏很久。

三、并发池:二十行

async function pool(size, tasks) {
let cursor = 0;
const results = [];
const workers = Array.from({ length: size }, async () => {
while (cursor < tasks.length) {
const i = cursor++;
results[i] = await tasks[i]();
}
});
await Promise.all(workers);
return results;
}

写法上的关键是不要按批切块(chunk)。切块会有木桶效应:一批里最慢的那个会拖住整批,批与批之间出现空档。上面这种"多个 worker 抢同一个游标"的写法,谁空了谁去拿下一个,天然均衡,而且代码更短。

实测 N=16 是 1080 毫秒,而理论下限是 200 / 16 × 80ms = 1000 毫秒——只多了 8%,基本已经吃满。

四、并发数怎么定:别只看耗时

这里有个陷阱,我自己差点踩进去。看上面的数据:N=32 只用 600 毫秒,比 N=16 的 1080 毫秒还快。如果只盯着耗时这个指标调参,一定会选 32。但它 200 个里只成功了 39 个。

所以评估并发策略必须同时看两个指标:耗时和成功率。只看一个会被误导,而且误导的方向正好是"越快越错"。

实际做法是先问服务端要阈值;拿不到就从小往大试,4 → 8 → 16,看成功率开始掉的那个拐点。实测里这个拐点非常清晰:16 全成功,32 崩掉。

五、加重试能救回来吗

我加了指数退避重试(40ms 起步,每次翻倍,最多 5 次,带随机抖动)又测了一轮:

池 16 不重试  1076 ms 成功 200 失败 0  重试 0 次
池 24 + 重试  2637 ms 成功 200 失败 0  重试 214 次
池 32 + 重试  2385 ms 成功 186 失败 14  重试 247 次
池 64 + 重试  1945 ms 成功 168 失败 32  重试 335 次

结论挺反直觉的:重试救不了"并发本身就超过阈值"。池 32 重试了 247 次,还剩 14 个失败;池 64 重试 335 次,还剩 32 个。因为每次重试的请求又会挤占本已超标的并发额度,等于一边堵一边疏通。

而池 24 虽然靠重试做到了 200 全成功,耗时 2637 毫秒,是不重试的池 16(1076 毫秒)的 2.4 倍。

也就是说:把并发压到阈值以内,比"打得更猛 + 失败重试"又快又稳。在这组数据里,池 16 不重试是唯一同时拿到最快和全成功的方案。

六、三个容易忽略的细节

1. 浏览器和 Node 的表现不一样。HTTP/1.1 下浏览器对同一域名一般只开 6 条连接,同样的 Promise.all 在前端会被自动排队,所以这个 bug 在本地页面里常常不显形,一搬到 Node 脚本就爆。这是迁移代码时很容易踩的认知差。

2. 每个请求必须带超时。用 AbortSignal.timeout(2000)。否则少数几个慢请求会把 worker 长期占住,整个池被堵死,表现是"卡住不动"而不是报错。

3. 并发池保护的是双方。它不只是不把对方打挂,也让自己的整体耗时变得可预测——从串行 16.5 秒到池 16 的 1.1 秒是 15 倍差距,而且这 15 倍是在零失败的前提下拿到的。

总结

Promise.all 不是并发控制,是"一起发出去",在有限流的服务端上等于自我 DDoS;二十行的游标式并发池就能解决,注意别用切块写法;调参要同时看耗时和成功率,只看耗时会选到那个"快但全错"的值;重试不是万能的,超阈值的并发靠重试救不回来,先降并发。

完整实测脚本(mock 服务端 + 四种跑法)我留在本地,改一下 DELAY 和 LIMIT 就能对着自己的后端重跑一遍。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。