给批量请求加个并发池:200 个请求从 16.5 秒到 1.1 秒,且零失败的实测
有个很常见的需求:调 200 次同一个接口,把结果汇总。我第一版写得很省事——Promise.all 一把梭,207 毫秒就跑完了。看着挺美,直到我去数了一下结果:200 个请求里只成功了 18 个,剩下 182 个全是 429。
这篇文章记录我把它改成一个并发池的完整实测过程,包括一组不太好解释、但很说明问题的数据。
一、先看实测数据
为了让结论能复现,我写了个 mock 后端:单请求固定 80 毫秒处理时间,同时在途请求超过 16 个就直接返回 429(这是开放 API 很典型的限流形状)。然后对同样的 200 个请求换不同跑法:
串行 await 16542 ms 成功 200 失败 0 服务端峰值在途 1
Promise.all 一把梭 207 ms 成功 18 失败 182 服务端峰值在途 198
并发池 N=4 4105 ms 成功 200 失败 0 服务端峰值在途 4
并发池 N=8 2066 ms 成功 200 失败 0 服务端峰值在途 8
并发池 N=16 1080 ms 成功 200 失败 0 服务端峰值在途 16
并发池 N=32 600 ms 成功 39 失败 161 服务端峰值在途 32
环境:Node 22.22.2,8 核,mock 服务与客户端同机。
二、Promise.all 为什么会崩
它不是"并发 200",是"同时发起 200"。服务端视角的峰值在途是 198,说明客户端真的把 198 条连接一起打出去了——Node 19 之后 http.globalAgent 的 maxSockets 默认是 Infinity,客户端这边没有任何自我保护。
最坑的地方在于它不报错。我用的是 Promise.allSettled,182 个失败静静地躺在结果数组里。如果上层只 await Promise.all(...) 然后遍历响应体,而不检查每个响应的 status,这批错误会被完全吞掉,最后表现为"数据少了一截",排查方向会跑偏很久。
三、并发池:二十行
async function pool(size, tasks) {
let cursor = 0;
const results = [];
const workers = Array.from({ length: size }, async () => {
while (cursor < tasks.length) {
const i = cursor++;
results[i] = await tasks[i]();
}
});
await Promise.all(workers);
return results;
}
写法上的关键是不要按批切块(chunk)。切块会有木桶效应:一批里最慢的那个会拖住整批,批与批之间出现空档。上面这种"多个 worker 抢同一个游标"的写法,谁空了谁去拿下一个,天然均衡,而且代码更短。
实测 N=16 是 1080 毫秒,而理论下限是 200 / 16 × 80ms = 1000 毫秒——只多了 8%,基本已经吃满。
四、并发数怎么定:别只看耗时
这里有个陷阱,我自己差点踩进去。看上面的数据:N=32 只用 600 毫秒,比 N=16 的 1080 毫秒还快。如果只盯着耗时这个指标调参,一定会选 32。但它 200 个里只成功了 39 个。
所以评估并发策略必须同时看两个指标:耗时和成功率。只看一个会被误导,而且误导的方向正好是"越快越错"。
实际做法是先问服务端要阈值;拿不到就从小往大试,4 → 8 → 16,看成功率开始掉的那个拐点。实测里这个拐点非常清晰:16 全成功,32 崩掉。
五、加重试能救回来吗
我加了指数退避重试(40ms 起步,每次翻倍,最多 5 次,带随机抖动)又测了一轮:
池 16 不重试 1076 ms 成功 200 失败 0 重试 0 次
池 24 + 重试 2637 ms 成功 200 失败 0 重试 214 次
池 32 + 重试 2385 ms 成功 186 失败 14 重试 247 次
池 64 + 重试 1945 ms 成功 168 失败 32 重试 335 次
结论挺反直觉的:重试救不了"并发本身就超过阈值"。池 32 重试了 247 次,还剩 14 个失败;池 64 重试 335 次,还剩 32 个。因为每次重试的请求又会挤占本已超标的并发额度,等于一边堵一边疏通。
而池 24 虽然靠重试做到了 200 全成功,耗时 2637 毫秒,是不重试的池 16(1076 毫秒)的 2.4 倍。
也就是说:把并发压到阈值以内,比"打得更猛 + 失败重试"又快又稳。在这组数据里,池 16 不重试是唯一同时拿到最快和全成功的方案。
六、三个容易忽略的细节
1. 浏览器和 Node 的表现不一样。HTTP/1.1 下浏览器对同一域名一般只开 6 条连接,同样的 Promise.all 在前端会被自动排队,所以这个 bug 在本地页面里常常不显形,一搬到 Node 脚本就爆。这是迁移代码时很容易踩的认知差。
2. 每个请求必须带超时。用 AbortSignal.timeout(2000)。否则少数几个慢请求会把 worker 长期占住,整个池被堵死,表现是"卡住不动"而不是报错。
3. 并发池保护的是双方。它不只是不把对方打挂,也让自己的整体耗时变得可预测——从串行 16.5 秒到池 16 的 1.1 秒是 15 倍差距,而且这 15 倍是在零失败的前提下拿到的。
总结
Promise.all 不是并发控制,是"一起发出去",在有限流的服务端上等于自我 DDoS;二十行的游标式并发池就能解决,注意别用切块写法;调参要同时看耗时和成功率,只看耗时会选到那个"快但全错"的值;重试不是万能的,超阈值的并发靠重试救不回来,先降并发。
完整实测脚本(mock 服务端 + 四种跑法)我留在本地,改一下 DELAY 和 LIMIT 就能对着自己的后端重跑一遍。
- 点赞
- 收藏
- 关注作者
评论(0)