接口限流怎么做才不误伤:从固定窗口到令牌桶的选型与落地
一个被限流拖垮的支付回调
去年我们出过一次事故:下游支付网关的回调接口突增到平时八倍的 QPS,同事紧急在网关上加了一条"每秒 100 次"的限流规则,用的是最简单的固定窗口计数。结果回调在窗口边界被整齐地切成两半,前半秒放 100 个、后半秒又放 100 个,瞬间双倍流量直接打挂了本来就紧张的数据库连接池。限流本来是保护措施,那晚它成了压垮系统的最后一根稻草。
这次复盘之后,我们把公司网关的限流策略整体重做了一遍。这篇文章把选型思路和踩过的坑整理出来。
四种算法的真实差异
固定窗口计数:实现最简单,一个计数器加一个过期时间就完事。致命弱点就是上面的事故——窗口边界处允许 2 倍突发。它只适合对精度毫无要求的粗粒度场景,比如"每个账号每天最多调用 1000 次"这种按自然日计算的配额。
滑动窗口日志:把每次请求的时间戳存进有序集合,统计最近 N 秒内的次数。精度没问题,但内存开销和请求量成正比,高 QPS 下光是维护这些时间戳就能把 Redis 玩出性能问题。只适合低频高价值接口。
滑动窗口计数(分段):把一个大窗口切成若干小格,按比例加权估算。内存固定,精度可以接受,是很多网关的默认实现。缺点是估算法在不同切分粒度下误差不同,选型时要看业务能容忍多少毛刺。
令牌桶:系统以恒定速率往桶里放令牌,桶有容量上限,请求消耗令牌。它最重要的特性是允许一定程度的突发——攒下来的令牌可以瞬间用掉——同时长期平均速率又被严格限制。绝大多数"平时要快、偶尔爆发"的业务接口,令牌桶都是正确答案。
落地时的四个关键参数
算法选对只是开始,参数不对照样误伤:
- 阈值不要拍脑袋。用压测拿到接口真实的 P99 耗时拐点,再乘以安全系数。我们见过太多"1000 QPS"其实是三年前的数字,服务早就扩容过三轮。
-
- 维度要对齐调用方。按 IP 限流会误伤同一出口 IP 的办公室人群;按用户限流要考虑脚本和正常用户的差异。我们的经验是网关层按 IP 兜底、业务层按账号精细限流,两层配合。
-
-
突发容量要单独配置。令牌桶的桶容量和填充速率是两个独立参数,容量决定了"允许多大的瞬时爆发"。回调、webhook 这类成批到达的流量,桶容量至少要能装下一批。
-
限流不是把请求扔掉就完事。返回 429 时必须带上 Retry-After 头,客户端才知道等多久;对可重试的请求给出指数退避的示例;如果是内部服务间调用,被限流方要在响应头里暴露剩余配额,让调用方有感知地降级。我们踩过最冤的坑是:前端把 429 当成普通错误弹了个"系统繁忙",用户疯狂重试,反而把限流后的恢复窗口一直占满。
-
-
小结
- 限流选型的判断链其实很短:要允许突发就用令牌桶,要精确就用滑动窗口,粗粒度配额用固定窗口就够了。但工程落地里,参数来源、维度选择、灰度验证、被限流后的反馈设计,这些"算法之外"的部分才是决定它是否误伤的关键。那晚支付回调事故的修复版本里,我们最终用的是网关层滑动窗口计数加业务层令牌桶的组合,灰度观察三天后才开启拦截,至今没有再出现过误伤。
- 点赞
- 收藏
- 关注作者
评论(0)