锁设了 30 秒,任务跑了 47 秒
对账补偿任务每天凌晨两点跑一次,用 Redis 分布式锁保证多实例只有一个在跑。上线三个月没出过事,直到某天下游接口变慢,任务从平常的 12 秒拖到 47 秒。第二天财务对账发现有一批单据被补偿了两次。
查下来不复杂:锁的 TTL 是 30 秒,任务第 30 秒锁自动过期,另一个实例立刻拿到锁开始跑同一批数据。两个进程在数据库里同时写了 17 秒。
过期不是"释放",是"不再保护"
很多代码把分布式锁当成 JVM 里的 synchronized 用,这是个错觉。本地锁的生命周期和持锁线程绑定,线程没结束锁就不会没;Redis 锁的生命周期是一个绝对时间,跟业务跑了多久完全无关。
// 常见写法:锁 30 秒,业务代码没有任何地方检查锁还在不在
ok := redis.SetNX(ctx, key, instanceID, 30*time.Second).Val()
if !ok { return }
defer redis.Del(ctx, key)
doReconcile(ctx) // 这里可能跑 47 秒
defer 里那句 Del 看着像"用完释放",实际在第 30 秒之后,锁早就不是自己的了。
第二个坑:把别人的锁删了
上面那段代码还有个更隐蔽的问题。A 的锁在第 30 秒过期,B 拿到锁;第 47 秒 A 执行完,无脑 DEL key 删掉的其实是 B 的锁。于是 C 也能进来,同一时刻可能有三个实例在跑。
释放必须校验持有者,而且校验和删除得是原子的:
-- release.lua
if redis.call('get', KEYS[1]) == ARGV[1] then
return redis.call('del', KEYS[1])
end
return 0
get 和 del 分两次调用不行,中间同样会插进别的实例。这一条几乎所有讲分布式锁的文章都会提,但线上还是经常漏,因为它在功能测试里永远不出现——测试环境任务只跑 2 秒。
续期看门狗能缓解,不能根治
Redisson 那类客户端会自动起一个线程定期续期,只要任务还活着就把 TTL 续回 30 秒。这确实解决了"任务比锁长"的常见问题,但有两个边界要清楚:
一是发生 STW 停顿的时候,业务线程和续期线程一起停,TTL 照样流逝,恢复后业务继续跑而锁可能已经没了。二是续期本身依赖 Redis 可用,网络抖动导致续期失败时,客户端未必会把这个失败传递到业务线程,业务会带着"我以为还有锁"继续往下写。
所以我们把续期失败当成必须中断任务的错误,直接 return,而不是打个 warning 继续跑。
真正能保证正确性的不是锁
即便把 TTL 调到 5 分钟、加上续期,也没法证明"绝对互斥"。想要正确性,得让存储层自己能识别过期持有者,也就是 fencing token:每次获取锁都拿一个单调递增的编号,写数据时带上,存储层拒绝比已见过的编号更小的写入。
UPDATE reconcile_batch
SET status = 'done', token = :token
WHERE batch_id = :id
AND token < :token -- 旧持有者的写直接被挡掉
AND status = 'running';
这样即使 A 的锁过期、B 已经开工,A 后面那些迟到的事务也只是更新到 0 行,不会覆盖 B 的结果。再配一个 batch_id + 类型 的唯一约束兜底,重复补偿在数据库这一层就写不进去。
锁在这里的定位变了:它只是一个减少冲突的优化,让绝大多数情况下只有一个实例干活;正确性由唯一约束和状态机 CAS 保证。这个分工想清楚之后,TTL 设多少就不再是个让人紧张的参数了。
该盯的指标是耗时分位数,不是锁冲突数
事故之后我们加了两个数:任务实际耗时的 P99、锁续期失败次数。TTL 定 30 秒是因为当时 P99 只有 12 秒,留了两倍多冗余;但下游一慢,P99 直接越过 TTL,而原有的监控里只有"抢锁失败次数"——锁过期这种场景压根不会产生抢锁失败,监控上是一片安静。
现在告警条件是「任务耗时 P99 > TTL 的 60% 持续 10 分钟」,让它在真的过期之前就先响。另外把单批次的数据量做了硬上限,避免下游变慢和批量变大两件事叠在一起。
一句结论
分布式锁最容易让人安心的地方是"我加锁了",但加锁只说明某一刻拿到了一个带过期时间的键。只要业务执行时间可能超过 TTL,就得假设锁会中途失效:释放要校验、写入要能被存储层拒绝、唯一约束要兜底。
那次故障真正的修复不是把 30 秒改成 300 秒,而是让"锁过期了"这件事不再能造成错误数据。
- 点赞
- 收藏
- 关注作者
评论(0)