给脚本加一层“韧性”:指数退避重试与幂等设计
调用外部接口、跑定时任务时,最常见的失败不是代码写错,而是网络抖动、服务短暂不可用、接口限流。直接报错退出,半夜就得起床救火;无脑立刻重试,又可能把一次抖动放大成雪崩。给脚本加一层“韧性”,核心是两件事:指数退避重试,和幂等设计。
指数退避很简单:第一次失败等1秒再试,第二次等2秒,第三次等4秒,上限比如30秒,再叠加一点随机抖动,避免所有客户端在同一时刻一起重试。重试次数要设上限,一般3到5次;只对可重试的错误重试,比如连接超时、502、503、429,遇到400、401、404这种确定性错误,重试多少次都一样,应该立刻失败并告警。
只会重试还不够,关键是幂等。重试意味着同一个请求可能被执行多次:如果第一次请求其实已经成功,只是响应丢了,第二次重试就可能重复下单、重复扣款。解决办法是给每次业务操作带一个唯一请求号,服务端用它去重;写文件先写临时文件再原子改名;数据库操作用“存在则更新,不存在则插入”。这样重试才是安全的。
另外三点容易忽略:一是重试要有总超时,单次重试再合理,总耗时失控也会拖垮上游;二是把每次重试的原因、次数写进日志,排障时一眼就能看到是抖动还是持续故障;三是区分读写操作,读操作重试几乎没有副作用,写操作必须先确认幂等再重试。
把这套做法封装成一个小函数或装饰器,所有调用外部服务的地方复用它,脚本的稳定性会立刻上一个台阶。韧性不是多写代码,而是让失败变成可预期、可恢复的常态。
举个具体例子:一个每天凌晨拉取数据的同步脚本,原来失败就直接退出,运维每天早上先看它有没有跑完。改成带指数退避的重试后,九成以上的抖动都在无人干预下自己恢复了,剩下的才是真正需要人处理的故障。写重试逻辑时顺手做两件事:把可重试和不可重试的错误分开枚举,不要凭感觉;给重试加一个统一的开关和指标,紧急情况下能一键关掉重试,避免雪崩。
- 点赞
- 收藏
- 关注作者
评论(0)