从一次接口超时说起:读懂熔断、限流与降级
一个普通的上午,订单查询接口突然变慢了。用户点开订单列表,页面一直在转圈,几秒之后才勉强出来,有的请求干脆直接失败。客服的电话很快打了进来,值班同学打开监控,才发现问题的源头并不在订单服务本身,而是在它依赖的一个库存接口上。那个接口平时的响应时间只有几十毫秒,当天却涨到了好几秒。订单服务等它,库存接口又在等更下游的服务,一层等一层,等待像传染病一样扩散开来,最后连原本正常的订单查询也被拖垮了。这次故障没有让系统彻底停机,却让大家真正理解了三件事:超时要设上限,失败要及时止损,系统在压力下要懂得取舍。熔断、限流与降级,就是在这种场景下最常用的三道防线。
一、那次超时到底发生了什么
先把当天的链路还原一下。用户请求先到订单服务,订单服务要查库存、查价格、查物流,再把结果拼在一起返回。任何一个环节变慢,整个请求都会变慢。库存接口变慢的原因,是它的下游数据库出现了慢查询,连接池很快被占满。新的请求进不去,只能排队,排队又占用了订单服务的线程。订单服务的线程池也是有限的,线程被占住之后,新的订单请求同样只能排队。短短几分钟,两个服务的线程池先后耗尽,监控上的错误率开始爬升。
这里有一个容易被忽视的细节:慢不是在一瞬间发生的,而是先变慢,再变多,最后才变坏。一开始只是个别请求超时,用户刷新一下就能成功,很多人以为是网络抖动。等到超时请求多到一定程度,系统里同时等待的请求越来越多,内存和线程都被等待消耗掉,正常请求也被挤占了。处理分布式故障,最难的往往不是定位某一个慢接口,而是理解慢会怎样在服务之间传递。一个没有设置合理超时的调用,就像一根没有保险丝的电线,下游一出问题,电流会一直传到上游。
二、超时本身不是敌人,没有上限才是
很多人第一次听到超时,会觉得超时是导致失败的原因。其实恰恰相反,超时是系统给自己留的一条退路。调用下游时,必须明确回答一个问题:如果对方一直不回,我最多等多久。没有这个答案,调用方就只能无限期等下去,而等待本身就是在消耗资源。连接超时管的是能不能连上,读取超时管的是连上之后多久能拿到结果,整体超时管的是整个请求从开始到结束的最长耗时。三个超时要分开设置,不能只设一个,也不能全部设成同一个值。
给超时定值,也要分场景。读请求一般可以容忍稍长一点的等待,因为读失败可以重试,读超时往往只是查不到数据。写请求则要谨慎得多,因为写操作可能已经在下游执行了一半,重试可能造成重复下单或者重复扣款。核心接口的超时可以短一些,非核心接口的超时可以放宽,第三方接口的超时更要保守。除此之外,重试也要有节制。重试本身会放大流量,下游本来已经很慢了,重试的请求又涌进来,只会让它更慢。重试要设次数上限,要加间隔,最好让间隔带有一点随机性,避免大量请求在同一时刻一起重试。遇到超时先快速失败,再决定要不要降级,这比一直等待要健康得多。
三、熔断:发现对方已经不行了,就先别打扰它
熔断的想法很直观:当一个接口连续失败,或者失败比例明显升高,就说明它现在已经没有能力正常提供服务。这时候继续调用它,除了浪费自己的线程和时间,几乎得不到任何好处。熔断器会在这个时候断开,后续的调用不再真的发出去,而是立刻返回失败。这样做有两个好处,一是调用方的资源被释放出来,可以去处理其他请求,二是下游有了一段喘息的时间,可以慢慢恢复。
熔断不是一断了之,它有三个状态。正常情况下是闭合状态,请求照常发出,同时统计失败情况。一旦失败比例超过阈值,或者连续失败次数达到上限,熔断器进入断开状态,直接拒绝调用。断开一段时间之后,熔断器会进入半开状态,放少量请求过去探路。如果这些探测请求成功了,说明下游已经恢复,熔断器回到闭合状态;如果探测请求又失败了,熔断器继续断开,再等一段时间。
用好熔断要注意几个参数。统计窗口太短,偶然的几次失败就可能误触发;窗口太长,真正出问题时又反应太慢。失败比例要结合最小请求量来看,请求量很小的时候,百分之五十的失败可能只是两次请求失败了一次,样本太少,不能作为判断依据。断开时长也要合理,太短起不到保护作用,太长会让恢复变慢,半开时的探测数量更是要小,恢复期的下游经不起大量请求冲击。熔断保护的是调用链,但它不是万能药。如果慢的是自己的数据库,或者慢的是调用方本身的逻辑,熔断下游并不能解决问题,还是要去修真正的瓶颈。
四、限流:不要让系统接到超出能力的请求
熔断处理的是下游已经出问题的情况,限流处理的是请求太多、超过系统能力的情况。系统在任何一个时刻能处理的能力都是有限的,线程、连接、内存、数据库的承载能力都有上限。一旦请求量超过上限,最先牺牲的往往是响应时间,然后是成功率。限流就是在入口处把多余的请求挡下来,让系统始终在自己能承受的范围内工作。
常见的限流算法各有特点。固定窗口按时间段计数,实现简单,但窗口交界处容易出现突发。滑动窗口把时间切得更细,对突发更平滑,实现也更复杂一些。漏桶以固定速度放行请求,不管来多少请求,都按同样的速度处理,适合对下游保护要求很高的场景。令牌桶则允许一定程度的突发,平时积累令牌,流量高峰时可以短暂多放行一些,适合大多数业务接口。选择哪一种,要看自己的业务能不能接受突发,能不能接受排队。
限流的位置也很重要。网关限流可以挡住最外层的洪峰,服务入口限流可以保护单个服务,核心方法限流可以保护关键资源,下游调用前的限流可以保护被依赖的服务。只在网关限流,内部服务之间互相调用时仍然可能被打垮;只在内部限流,网关又可能被无效请求占满。限流还要分优先级。登录、下单、支付这类核心请求要优先放行,推荐内容、历史记录、统计上报这类请求可以先被限制。被限流的请求要给明确的提示,告诉用户稍后再试,而不是让请求在原地一直等,等到最后还是超时。
五、降级:少做一点,保住主线
即使有了超时、熔断和限流,系统在故障时仍然可能无法提供完整的功能。这时候就需要降级:主动少做一点,保住最重要的主线。降级的核心是提前分清什么是核心,什么可以暂时不要。用户下单、支付、扣库存、校验身份,这些是核心,不能降级。商品推荐、历史订单详情、图片高清版本、实时统计、个性化排序,这些在故障时可以先放一放。
降级的方式有很多,选哪一种要看业务能不能接受。返回缓存结果是最常见的降级方式,数据可能不是最新的,但至少能用。返回默认值也可以,比如推荐位暂时返回热门商品,个性化内容暂时用通用内容代替。简化页面也是一种降级,把复杂的聚合查询换成简单的查询,把需要调用多个下游的功能换成只需要调用一个下游的功能。还可以直接关闭非核心功能,让出资源给核心流程。无论用哪种方式,降级都要提前准备好开关和默认内容,不能等到故障发生时才临时写代码。缓存要提前预热,默认文案要提前准备,开关要提前告诉值班同学放在哪里,怎么开,怎么关。
降级不是偷工减料,而是事先约定的取舍。一个系统在设计之初就要把降级写进方案里,明确在什么情况下降级,降到什么程度,由谁来决定,恢复之后如何回切。没有演练过的降级,等于没有降级。开关在哪里、权限在谁手里、降级后用户看到什么、监控能不能看出来,这些问题都要在平时就回答好。真正出故障的时候,没有人有时间去翻文档、去找负责人、去临时确认。
六、三者如何配合
超时、熔断、限流和降级不是各自为战的工具,而是一条请求走过的层层防线。请求先到入口,限流判断要不要放它进来。放进来之后,调用下游时有超时保护,超过时间就快速失败。失败的次数被统计起来,一旦超过阈值就触发熔断,熔断期间不再真的调用下游。熔断之后,请求不会直接报错,而是走到降级逻辑,返回缓存结果或者简化结果。下游恢复之后,熔断器进入半开状态,少量探测请求通过,确认恢复后再放开全部流量。
这条链路里,顺序很重要。没有限流,熔断器可能在流量洪峰里频繁触发和恢复,状态来回跳动。没有熔断,限流只能控制数量,控制不了下游已经变慢的事实。没有降级,熔断之后用户看到的就只有报错,体验会断崖式下跌。没有超时,熔断统计的失败可能来得很慢,等到触发时系统已经被拖垮了。四者配合起来,才能让系统在压力下既不崩溃,也不完全停摆。可以把它理解成一个人的自我保护:限流是控制工作量,超时是给每件事设定期限,熔断是发现身体已经透支就停下来休息,降级是先做最重要的事,其他的事以后再补。
七、落地时容易踩的坑
第一个坑,是超时全部设成一样的值。核心接口和非核心接口、读请求和写请求、内部接口和第三方接口,超时本该不同。抄一个通用值,看起来省事,实际上等于没有针对性地保护系统。第二个坑,是重试没有上限,或者在熔断期间还在重试。重试的本意是容错,但在下游已经明确不可用的时候,重试只会放大故障。第三个坑,是熔断阈值直接抄别人的。流量小的服务和流量大的服务,错误率的意义完全不同,要结合自己的请求量、失败分布和业务容忍度来调。
第四个坑,是限流只做在网关,内部调用没有保护。很多故障不是从外部打进来的,而是内部服务之间互相拖垮的。第五个坑,是降级开关平时没人用,等到故障时才发现开关没有权限,或者开关控制的范围不对。第六个坑,是只看成功率,不看超时占比和排队长度。成功率下降时,系统往往已经病了很久,超时占比和排队长度才是更早的信号。第七个坑,是报警太多,没人愿意看,或者报警太少,等到用户投诉才发现问题。监控要分级别,核心指标要配专门的报警,非核心指标可以只做记录,报警信息要写清楚影响范围和处理入口。
八、回到那次超时:后来改了什么
那次故障之后,团队做了一次完整的复盘,改动的不是某一个参数,而是一整套思路。调用下游的超时全部按读写和优先级重新分了级,重试加了次数上限和随机间隔。库存接口加了熔断,失败比例和最小请求量按真实流量重新算过,断开时长和半开探测量也都做了压测。入口加了限流,核心请求和非核心请求走了不同的配额,超出的请求直接返回提示,不再排队等死。推荐和历史记录做了降级方案,缓存提前预热,开关每天巡检,故障演练每个月做一次。监控大盘也补上了超时占比、排队长度、熔断状态和降级状态,值班同学一眼就能看到系统现在处于哪一层防线。
后来又出现过几次下游变慢,系统没有再像那次一样被拖垮。用户看到的可能是推荐内容暂时变成了热门商品,可能是历史记录加载得慢一点,但下单和支付一直是正常的。故障依然会发生,但故障的影响被控制在了一个可以接受的范围里。这一点,才是熔断、限流与降级真正的意义:它们不能保证系统永远不出问题,但能保证出问题的时候,系统仍然有办法继续提供最核心的服务。
结语
接口超时本身并不可怕,可怕的是系统对慢没有任何准备。一个健康的系统,一定要在平时就想好:如果下游变慢,我最多等多久;如果下游已经不可用,我还要不要继续打扰它;如果请求太多,我先保护谁、放弃谁;如果完整功能做不了,我能不能先给用户一个能用的结果。这四个问题,分别对应超时、熔断、限流和降级。把它们想清楚,写下来,配好参数,定期演练,下一次超时来的时候,你就不会再手忙脚乱。系统设计的目标从来不是永不故障,而是故障发生时,依然能够稳住主线,保住用户最在意的那部分体验。
- 点赞
- 收藏
- 关注作者
评论(0)