Go 定时任务可靠性:幂等、重试与超时的组合
定时任务的可靠性不是三个独立开关,而是一道算术题:单次超时乘以尝试次数,加上退避总和,必须小于调度周期,否则重试会把一次失败放大成多次重复执行。我的做法是先算总预算,再把幂等键压到副作用边界上,最后只对可恢复错误重试。顺序错了,后面全白做。
一、先算总预算:超时应该包住重试,而不是反过来
很多团队的超时是这么配的:任务函数里 context.WithTimeout(ctx, 60*time.Second),外层重试 3 次,cron 每 5 分钟触发一次。看起来 60 秒远小于 300 秒,很安全。实际算一下:三次尝试最坏 180 秒,加上 2s、4s、8s 的退避,总耗时 194 秒,仍在周期内。这个配置是侥幸成立的,一旦某次调用卡在 DNS 解析或者连接池等待上,第三次尝试就会和下一轮调度重叠,同一批数据被处理两遍。
我现在的写法是把预算显式算出来,并且让它在启动时校验,不通过就直接拒绝启动。公式很朴素:总预算等于单次超时乘以最大尝试次数,加退避总和,再加一段收尾时间。收尾时间不是凑数,释放分布式锁、把结果落库、上报指标都在这个窗口里,我一般留 5 秒。
把单次超时调到 240 秒之后,三次尝试就是 720 秒,已经超过 300 秒周期的两倍。这时候只有两个选择:把周期改成 15 分钟,或者把尝试次数降到 1 次,把重试交给下一轮调度。后者其实更稳,因为定时任务天然自带重试,没必要在单次执行里再叠一层。真实项目里我通常选后者,代价是失败恢复慢一个周期,换来的是永不重叠。
type Policy struct {
Attempts int
Timeout time.Duration
Backoff []time.Duration
}
// Budget 返回一次调度的最坏耗时,用于和 cron 周期比较
func (p Policy) Budget() time.Duration {
total := p.Timeout * time.Duration(p.Attempts)
for _, b := range p.Backoff {
total += b
}
return total + 5*time.Second // 收尾:释放锁、落库、上报
}
func (p Policy) Validate(period time.Duration) error {
if p.Budget() >= period {
return fmt.Errorf("budget %s exceeds period %s", p.Budget(), period)
}
return nil
}
二、幂等键要落在副作用边界上
我见过最常见的错误是在函数入口生成一个 UUID 当幂等键。这个键每次执行都不同,等于没有幂等。幂等键必须由业务事实决定,比如账单日加账户 ID,比如消息 ID 加消费组,比如日期加任务名。同一个业务事实,无论重试多少次,算出来的键必须一样。
存储上我优先选数据库唯一索引,而不是 Redis。原因是 Redis 的 SETNX 加过期时间是尽力而为:主从切换可能丢键,过期时间到了而任务还在跑会二次进入。唯一索引是最后一道防线,插入流水表时带上 (biz_date, account_id) 的唯一约束,重复执行会直接报冲突,捕获这个错误当成成功返回即可。
Redis 那一层仍然要留,作用是挡住绝大部分重复,减少数据库压力。键的 TTL 我一般设 7 天,比最长重试窗口大两个数量级。写入时用 SET key 1 NX EX 604800,不要用 SETNX 再单独 EXPIRE,两条命令之间进程挂掉就会留下永不过期的键。
还有一点容易被忽略:幂等键要在副作用开始之前写入,而不是在结束之后。结束之后写,等于告诉系统“我已经做完了”,中间崩溃的窗口完全没保护。正确顺序是先占位、再执行、失败时按策略决定是否释放占位。对于“发通知”这类不可回滚的操作,占位之后就不再释放,宁可漏发也不能重发。
三、重试只对可恢复错误生效
把所有错误都重试,是定时任务里第二贵的错误。参数校验失败、余额不足、目标记录已删除,这些错误重试一百次结果一样,只是把日志刷满、把上游打挂。我在项目里定义了一个 PermanentError 包装类型,业务层判断出这是终态错误就包一层,执行器看到它直接返回,不进入下一次尝试。
可重试的错误有三类:连接层的超时与拒绝、服务端的 5xx、限流返回的 429。429 要特殊处理,必须尊重响应头里的 Retry-After,不能按自己的退避表硬来。我吃过这个亏:固定退避 2 秒,而上游要求 60 秒,连续三次撞限流之后被拉黑半小时,比不重试还惨。
退避本身要加抖动。纯指数退避 2s、4s、8s 在集群里会形成同步波峰,几十个任务在同一毫秒重试。我在退避值上乘一个 0.5 到 1.5 的随机因子,实际间隔变成 1 到 3 秒、2 到 6 秒、4 到 12 秒,波峰就被打散了。
type PermanentError struct{ Err error }
func (e *PermanentError) Error() string { return e.Err.Error() }
func (e *PermanentError) Unwrap() error { return e.Err }
func isRetryable(err error) bool {
var p *PermanentError
if errors.As(err, &p) {
return false
}
var netErr net.Error
if errors.As(err, &netErr) && netErr.Timeout() {
return true
}
var httpErr *HTTPStatusError
if errors.As(err, &httpErr) {
return httpErr.Code >= 500 || httpErr.Code == 429
}
return false
}
四、分布式锁解决的是并发,不是失败
很多人把分布式锁当成可靠性方案,这是个概念混淆。锁保证同一时刻只有一个实例在跑,它不保证跑成功。锁的租期要大于总预算,否则任务还在执行锁就过期了,第二个实例进来,两边同时写。租期小于预算的锁,比没有锁更危险,因为它给了你虚假的安全感。
我的配置是锁租期等于预算的 1.5 倍,并且每 30 秒续租一次。续租失败的瞬间就停止手上的写操作,因为这意味着锁可能已经被别人拿走。更严格的做法是带 fencing token:每次加锁返回一个单调递增的序号,写数据库时带上这个序号,存储层拒绝比已见序号更小的写入。这套机制在 etcd 和 ZooKeeper 的租约里是标配,用 Redis 就得自己实现。
还有一个现实问题:cron 表达式本身不保证不重叠。robfig/cron/v3 提供了 cron.SkipIfStillRunning 和 cron.DelayIfStillRunning 两个 chain,前者跳过本轮,后者排队等上一轮结束。我选 SkipIfStillRunning,因为排队会让任务越积越多,最后雪崩。跳过至少能在监控上看到一个明确的“missed”计数。
| 失败形态 | 是否重试 | 处理方式 | 监控信号 |
|---|---|---|---|
| 连接超时、5xx | 是 | 指数退避加抖动,最多 3 次 | 重试次数、最终失败率 |
| 429 限流 | 是 | 按 Retry-After 等待 | 限流命中数 |
| 参数错误、记录不存在 | 否 | 包装成 PermanentError 直接返回 | 永久错误计数 |
| 上一轮未结束 | 否 | SkipIfStillRunning 跳过 | skipped 计数 |
| 锁被抢占 | 否 | 立即停止写入并退出 | 锁丢失告警 |
五、落地节奏
- 先把所有定时任务的周期、超时、尝试次数列成一张表,用
Budget()跑一遍,凡是预算大于周期的全部标红。 - 给每个任务定义业务幂等键,落到数据库唯一索引,Redis 只做前置挡板。
- 引入
PermanentError,把现有 catch 住的错误重新分类,终态错误不再重试。 - 把
SkipIfStillRunning打开,观察一周的 skipped 计数,再决定是否调整周期。 - 锁租期统一改成预算的 1.5 倍,续租失败即中止,不要等超时。
这套组合跑下来,我在一个日处理 40 万条记录的同步任务上把重复写入从每天两三百条降到了 0,代价是失败恢复从 5 分钟变成 15 分钟。这个交换是值得的,因为重复数据的排查成本远高于延迟一个周期。
- 点赞
- 收藏
- 关注作者
评论(0)