大 key 删除的异步化:UNLINK 与 lazyfree

举报
yd_216253085 发表于 2026/11/17 00:13:19 2026/11/17
【摘要】 拆解 DEL 的阻塞成本,用 UNLINK 与 lazyfree 把内存释放搬到后台

删一个几百万元素的 Hash,一条 DEL 能把 Redis 卡住上百毫秒,期间所有请求排队。Redis 4.0 起提供了把"释放内存"搬出主线程的完整方案:UNLINK 命令加一组 lazyfree 配置。本文基于 Redis 7 讲清阻塞成因、异步化机制、五组配置的取舍与批量清理实操。

一、DEL 卡在哪:释放成本与元素个数成正比

命令执行在主线程。DEL 的动作分两步:把 key 从键空间的哈希表摘除,这一步是 O(1);然后释放 value 占用的内存,这一步才是大头。

释放是逐项进行的:100 万元素的 Hash 要 free 掉 100 万个字段名、字段值和各自的 dictEntry;List 要沿链表逐节点释放。耗时与元素个数线性相关,百万级元素的 key 实测可达百毫秒级,期间主线程不处理任何请求,这条 DEL 会原样出现在 SLOWLOG 里。

释放成本与元素的物理分布有关,不只是个数。同样 100 万元素,listpack 编码的 Hash 是整块内存,释放时只需一次 free 调用(尽管它也超过代价阈值 64 而不算"小对象");hashtable 编码的 Hash 则要遍历每个桶、逐项释放 field 与 value 两个 SDS,释放次数正比于元素数。因此把大 Hash 从 hashtable 转成 listpack,不仅省内存,删除时的阻塞也更短——虽然这种转换受阈值限制,通常只能用于真正的小对象。

另一个维度是元素大小。元素本身很大时(比如每个 value 几 KB),释放的绝对时间更长。所以判断一个 key 是不是"删除危险",要看"元素个数乘以平均元素大小"这个总量,而不是只看个数。实践中可以把"预计释放耗时超过 10 毫秒"作为危险门槛,反推大约对应几百 MB 的集合。

除 DEL 之外,四条路径同样会触发同步释放:key 到期被删除、内存达到 maxmemory 触发淘汰、FLUSHDB/FLUSHALL 清库,以及命令的隐式删除——SET 覆盖旧值、RENAME 改名、HSET 覆盖同名字段,被顶掉的那个旧对象也要释放。治理删除延迟,就是把这五条路径都摸一遍。

隐式删除这条最容易被忽略,而它恰恰是故障的常见来源。对同一个 key 反复执行 SET,每次都会释放上一个值;如果这个 key 的值有几 MB,且业务更新频繁,那么每条 SET 都带着一次大内存释放,表现成"写操作莫名变慢"。用 SLOWLOG 看会发现慢的是 SET 而不是 DEL,很容易误判成网络或序列化问题。RENAME 同理,被覆盖的目标 key 若是大对象,一次改名就带来一次大释放。

二、UNLINK:主线程摘除,后台线程释放

UNLINK cache:hot:20261025

UNLINK 只做第一步摘除(O(1)),把释放动作打包交给 bio 后台线程,业务侧延迟从此与 key 大小解耦。

并非所有 UNLINK 都真走异步。Redis 内部有一个"释放代价"估算器:String 和被多处共享的 refcount 大于 1 的对象代价视为 1;集合类按元素个数估算,listpack、intset 这类小编码整块单次释放、代价也视为 1。代价超过阈值 64 才真正交给后台线程,小对象直接同步删,省掉线程调度的开销。

观测进度用 INFO stats 里的两个字段:lazyfree_pending_objects 是当前排队待释放的对象数,lazyfreed_objects 是累计已异步释放的数量。清理大 key 后 used_memory 不会立刻下降,等后台释放完成才回落,这是正常现象而不是删除失败。

redis-cli INFO stats | grep lazyfree
# lazyfree_pending_objects:0
# lazyfreed_objects:18427

redis-cli INFO memory | grep -E "used_memory_human|used_memory_rss_human"
# used_memory_human:6.42G
# used_memory_rss_human:8.91G

两个字段的读法:lazyfree_pending_objects 在批量删除后短暂上升是正常的,说明后台队列里有待释放对象;如果它持续增长且数分钟不回落,说明释放速度跟不上删除速度,需要降低删除速率或检查 bio 线程是否被其他任务(AOF fsync、关闭文件)占用。lazyfreed_objects 是累计值,它的增长速率可以换算成"每秒释放多少个对象",用来评估清理任务还需要多久。

内存的回落则要看两个数:used_memory 是逻辑分配量,会在释放完成后先降;used_memory_rss 是物理占用,jemalloc 归还给操作系统还有延迟,可能晚几分钟甚至不归还(此时需要 MEMORY PURGE 或后续分配复用)。所以"删完发现 RSS 没降"不等于没删掉,先看 used_memory 和 lazyfree_pending_objects 再下结论。

三、五组 lazyfree 配置与 FLUSH ASYNC

Redis 7 下 lazyfree 相关配置默认全部 no,即所有删除路径仍同步释放。按风险从低到高建议逐个开启:

CONFIG SET lazyfree-lazy-user-del yes      # DEL 等价于 UNLINK,业务代码不用改
CONFIG SET lazyfree-lazy-server-del yes    # SET 覆盖、RENAME 等隐式删除异步化
CONFIG SET lazyfree-lazy-expire yes        # 过期删除异步化
CONFIG SET lazyfree-lazy-user-flush yes    # FLUSHALL/FLUSHDB 默认按 ASYNC 执行
CONFIG SET lazyfree-lazy-eviction yes      # 内存淘汰时异步释放,需单独权衡
CONFIG REWRITE

也可以不改配置直接用命令参数:FLUSHDB ASYNC、FLUSHALL ASYNC,效果是清库命令立即返回,实际释放由后台完成,比同步清库安全得多。

lazyfree-lazy-eviction 要单独说明:淘汰的本意是腾内存,改成异步后释放被推迟,极端情况下一边淘汰一边写入,内存压力反而更大,官方文档也提示该选项可能增加内存占用。开启前先确认实例有碎片余量或突发余量,并压测验证。

四、批量清理实操

典型场景:缓存整体换版本,需要清掉数千万个旧 key。单条 UNLINK 也省不了网络往返,必须批量:

# 1. 扫描目标 key(SCAN 渐进遍历,不阻塞)
redis-cli --scan --pattern "cache:old:*" > keys.txt
wc -l keys.txt        # 先确认数量与 pattern 匹配,避免误删

# 2. 分批 UNLINK,每批 200 个;可加 -P 并行但注意主库负载
xargs -n 200 redis-cli UNLINK < keys.txt

清理期间盯三个指标:lazyfree_pending_objects 不应持续堆积增长,used_memory 在释放完成后回落,SLOWLOG 里不应再出现 DEL 与 FLUSH 类命令。

注意:--scan 输出的 key 若含空格或引号会被 xargs 拆错,这类 key 需要单独转义处理;全量扫描与清理安排在低峰期执行,删除命令会照常传播到从库同步。

常见坑 / 最佳实践

  1. 别把 DEL 换成 UNLINK 就认为万事大吉。 它只是把延迟转移给后台,删除风暴期间 pending 对象持续堆积、内存回收跟不上写入,照样会顶到 maxmemory。
  2. lazyfree 配置改完要 CONFIG REWRITE,并按风险排序灰度。 user-del、server-del、expire 先开,eviction 最后单独验证内存余量。
  3. 统一策略后业务代码可以只写 DEL。 开启 lazyfree-lazy-user-del 后 DEL 自动等价 UNLINK,避免代码里两个命令混用;是否真异步由 Redis 按释放代价决定,小对象同步反而更优。
  4. FLUSHDB ASYNC 后内存不会立刻清零。 做"清库腾内存"的操作要等 RSS 实际回落再判断效果,不要立刻重复执行。
  5. SLOWLOG 里出现 DEL/FLUSH 是大 key 的直接信号。 顺手把 key 名记入大 key 治理清单,配合热 key 与大 key 治理一篇的方法收敛存量。

小结

  • DEL 的阻塞来自释放内存,耗时与元素个数成正比;UNLINK 只摘引用,释放交给 bio 线程。
  • 释放代价超过 64 且对象非共享才真正异步;用 lazyfree_pending_objects 与 lazyfreed_objects 观察进度。
  • lazyfree-lazy-user-del、server-del、expire、user-flush 覆盖删除、覆盖、过期、清库四条路径,eviction 需单独权衡内存余量。
  • 批量清理用 SCAN 定位加 xargs 分批 UNLINK,低峰执行并跟踪内存回落。
  • 异步化解决的是延迟问题,内存最终归还的节奏仍要靠水位监控兜底。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。