锁设了 30 秒,任务跑了 47 秒

举报
yd_251777447 发表于 2026/11/15 15:41:14 2026/11/15
【摘要】 对账补偿任务每天凌晨两点跑一次,用 Redis 分布式锁保证多实例只有一个在跑。上线三个月没出过事,直到某天下游接口变慢,任务从平常的 12 秒拖到 47 秒。第二天财务对账发现有一批单据被补偿了两次。 查下来不复杂:锁的 TTL 是 30 秒,任务第 30 秒锁自动过期,另一个实例立刻拿到锁开始跑同一批数据。两个进程在数据库里同时写了 17 秒。 过期不是"释放",是"不再保

对账补偿任务每天凌晨两点跑一次,用 Redis 分布式锁保证多实例只有一个在跑。上线三个月没出过事,直到某天下游接口变慢,任务从平常的 12 秒拖到 47 秒。第二天财务对账发现有一批单据被补偿了两次。

查下来不复杂:锁的 TTL 是 30 秒,任务第 30 秒锁自动过期,另一个实例立刻拿到锁开始跑同一批数据。两个进程在数据库里同时写了 17 秒。

过期不是"释放",是"不再保护"

很多代码把分布式锁当成 JVM 里的 synchronized 用,这是个错觉。本地锁的生命周期和持锁线程绑定,线程没结束锁就不会没;Redis 锁的生命周期是一个绝对时间,跟业务跑了多久完全无关。

// 常见写法:锁 30 秒,业务代码没有任何地方检查锁还在不在
ok := redis.SetNX(ctx, key, instanceID, 30*time.Second).Val()
if !ok { return }
defer redis.Del(ctx, key)
doReconcile(ctx)   // 这里可能跑 47 秒

defer 里那句 Del 看着像"用完释放",实际在第 30 秒之后,锁早就不是自己的了。

第二个坑:把别人的锁删了

上面那段代码还有个更隐蔽的问题。A 的锁在第 30 秒过期,B 拿到锁;第 47 秒 A 执行完,无脑 DEL key 删掉的其实是 B 的锁。于是 C 也能进来,同一时刻可能有三个实例在跑。

释放必须校验持有者,而且校验和删除得是原子的:

-- release.lua
if redis.call('get', KEYS[1]) == ARGV[1] then
    return redis.call('del', KEYS[1])
end
return 0

get 和 del 分两次调用不行,中间同样会插进别的实例。这一条几乎所有讲分布式锁的文章都会提,但线上还是经常漏,因为它在功能测试里永远不出现——测试环境任务只跑 2 秒。

续期看门狗能缓解,不能根治

Redisson 那类客户端会自动起一个线程定期续期,只要任务还活着就把 TTL 续回 30 秒。这确实解决了"任务比锁长"的常见问题,但有两个边界要清楚:

一是发生 STW 停顿的时候,业务线程和续期线程一起停,TTL 照样流逝,恢复后业务继续跑而锁可能已经没了。二是续期本身依赖 Redis 可用,网络抖动导致续期失败时,客户端未必会把这个失败传递到业务线程,业务会带着"我以为还有锁"继续往下写。

所以我们把续期失败当成必须中断任务的错误,直接 return,而不是打个 warning 继续跑。

真正能保证正确性的不是锁

即便把 TTL 调到 5 分钟、加上续期,也没法证明"绝对互斥"。想要正确性,得让存储层自己能识别过期持有者,也就是 fencing token:每次获取锁都拿一个单调递增的编号,写数据时带上,存储层拒绝比已见过的编号更小的写入。

UPDATE reconcile_batch
   SET status = 'done', token = :token
 WHERE batch_id = :id
   AND token < :token          -- 旧持有者的写直接被挡掉
   AND status = 'running';

这样即使 A 的锁过期、B 已经开工,A 后面那些迟到的事务也只是更新到 0 行,不会覆盖 B 的结果。再配一个 batch_id + 类型 的唯一约束兜底,重复补偿在数据库这一层就写不进去。

锁在这里的定位变了:它只是一个减少冲突的优化,让绝大多数情况下只有一个实例干活;正确性由唯一约束和状态机 CAS 保证。这个分工想清楚之后,TTL 设多少就不再是个让人紧张的参数了。

该盯的指标是耗时分位数,不是锁冲突数

事故之后我们加了两个数:任务实际耗时的 P99、锁续期失败次数。TTL 定 30 秒是因为当时 P99 只有 12 秒,留了两倍多冗余;但下游一慢,P99 直接越过 TTL,而原有的监控里只有"抢锁失败次数"——锁过期这种场景压根不会产生抢锁失败,监控上是一片安静。

现在告警条件是「任务耗时 P99 > TTL 的 60% 持续 10 分钟」,让它在真的过期之前就先响。另外把单批次的数据量做了硬上限,避免下游变慢和批量变大两件事叠在一起。

一句结论

分布式锁最容易让人安心的地方是"我加锁了",但加锁只说明某一刻拿到了一个带过期时间的键。只要业务执行时间可能超过 TTL,就得假设锁会中途失效:释放要校验、写入要能被存储层拒绝、唯一约束要兜底。

那次故障真正的修复不是把 30 秒改成 300 秒,而是让"锁过期了"这件事不再能造成错误数据。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。