INFO memory 字段解读与内存账本估算
内存是 Redis 最贵的资源,但很多人只会看一个 used_memory。INFO memory 其实是三层账本:逻辑账、分配器账、物理账,分清三者才能回答"内存花在哪、还能撑多久"。本文基于 Redis 7 逐项解读关键字段,并给出从单 key 到全库的估算方法。
一、一份完整的账单
先看一台中等规模实例的实测输出(节选,Redis 7,jemalloc 5.3):
# Memory
used_memory:8589934592 # 逻辑内存:数据+内部开销,淘汰判断的依据
used_memory_human:8.00G
used_memory_rss:9663676416 # 操作系统视角的物理内存
used_memory_rss_human:9.00G
used_memory_peak:10737418240 # 历史峰值
used_memory_peak_perc:80.00% # 当前值相对峰值
used_memory_startup:987136 # 进程刚启动的基线
used_memory_overhead:1610612736 # 开销合计:缓冲、复制、脚本等
used_memory_dataset:6979321856 # 业务数据净重
used_memory_dataset_perc:81.26% # dataset 扣除基线后的占比
allocator_allocated:8455712768 # jemalloc 实际分配给对象的字节
allocator_active:8935186432 # 含对齐与元数据后的活跃字节
allocator_resident:9395240960 # jemalloc 向 OS 申请的物理页
total_system_memory_human:32.00G
used_memory_scripts_human:0B # EVAL/Function 缓存的脚本体积
number_of_cached_scripts:0
maxmemory:10737418240 # 上限,0 表示未设防
maxmemory_human:10.00G
maxmemory_policy:allkeys-lru
mem_fragmentation_ratio:1.13 # rss / used_memory
mem_fragmentation_bytes:1073741824 # 碎片的绝对字节量
mem_not_counted_for_evict:0 # 计入 used_memory 但不参与淘汰判断的部分
mem_total_replication_buffers:536870912 # 复制积压缓冲+从库缓冲合计
mem_clients_slaves:0 # 从库客户端缓冲
mem_clients_normal:33554432 # 普通客户端输入输出缓冲
mem_aof_buffer:0 # AOF 重写缓冲
mem_allocator:jemalloc-5.3.0
active_defrag_running:0
lazyfree_pending_objects:0
lazyfreed_objects:0
二、三层账本:逻辑内存、分配器、物理内存
三个层级从内到外依次是:used_memory 是 Redis 自己记的账,所有 zmalloc 分配都计入;allocator_allocated 到 active 到 resident 是 jemalloc 的三级账,active 比 allocated 多出的部分是尺寸类别取整与元数据,resident 比 active 多出的部分是还没归还系统的脏页——后两级差额就是碎片问题的全部来源,指标化的结果就是 mem_fragmentation_ratio 与 mem_fragmentation_bytes,详见内存碎片一篇。
used_memory_rss 是 OS 视角,除了分配器页面还包括二进制代码段、共享库映射。健康关系是逐层小幅递增:allocated 略小于等于 used_memory,resident 与 rss 相近,rss 与 used_memory 的比值落在 1.0~1.5。
排障时按层定位:used_memory 高而 dataset 低,是内部开销问题,看第三节;allocated 与 resident 差距大,是碎片问题;rss 远高于 resident 且系统内存紧张,要查 swap。
三、开销分账:dataset 之外的隐性成本
used_memory_overhead 与 used_memory_dataset 把逻辑账一拆为二,overhead 里既有启动基线也有运行期缓冲。开销的主要来源:
- mem_clients_normal:每个客户端的输入与输出缓冲。执行 MONITOR 的调试连接、拉大结果集却消费慢的客户端会把它持续撑大;
- mem_total_replication_buffers:复制积压缓冲区(repl-backlog-size,默认仅 1MB,生产常调大)与各从库的输出缓冲,从库重连后的全量同步阶段还会激增;
- mem_aof_buffer:AOF 重写期间累积写命令的缓冲,重写窗口越长、写入越多,这块越大;
- used_memory_scripts:EVAL 与 Function 缓存的脚本本体,脚本数量失控时可见;
- 哈希表 rehash 膨胀:扩容期间新旧两张表并存,INFO memory 不单列,用 MEMORY STATS 的 overhead.hashtable 观察。
经验值:稳态实例的 used_memory_dataset_perc 通常在 60% 以上。显著低于此值说明开销占了大头——这时加内存只治标,要按上面清单逐项对账找根因。
四、从单 key 到全库的估算
单 key 精确测量:
redis-cli MEMORY USAGE user:1001 # 集合类默认抽样 5 个元素估算
redis-cli MEMORY USAGE user:1001 SAMPLES 0 # 全量统计,大 key 会阻塞主线程,慎用
redis-cli MEMORY STATS # 分配器与开销的细目账
设计期估算要记住 key 的固定成本:一个独立 key 至少包含哈希表 dictEntry(24 字节,jemalloc 取整到 32)、robj(16 字节)、SDS 的 key 头与内容、对齐损耗,合计 70~100 字节量级。1 亿个 key 即使 value 全是几字节的整数,仅固定成本就接近 10GB。因此同类小对象优先合并进 Hash 走 listpack 编码,key 数量本身就是最大的隐性成本。
全库对账按四步走:读 used_memory 定总账,算 dataset 定数据净重,抽查 TOP key 的 MEMORY USAGE 校准单 key 成本,最后用第三节的开销清单解释剩余部分。账对不上时优先怀疑慢客户端缓冲、复制缓冲被调大、脚本缓存膨胀和正在进行的 rehash;lazyfree_pending_objects 偏大则说明刚清过数据、账还没落定。
五、一次真实对账:8GB 实例的账怎么平
拿一台缓存放 8GB、maxmemory 10GB 的实例举例。used_memory 8589934592,dataset 6979321856,差值 1610612736 就是 overhead。第一步先扣掉启动基线 used_memory_startup(约 1MB),剩下 1.6GB 才是运行期产生的开销,这个数字明显偏大,继续拆:
redis-cli INFO clients | grep -E '^(connected_clients|client_recent_max_input_buffer|client_recent_max_output_buffer):'
redis-cli CLIENT LIST | awk '{for(i=1;i<=NF;i++) if($i ~ /^omem=/){split($i,a,"="); s+=a[2]}} END{print "omem_total="s}'
redis-cli INFO replication | grep -E '^(repl_backlog_size|slave[0-9]+):'
CLIENT LIST 每行的 omem 是该连接输出缓冲已占字节、qbuf 是输入缓冲。把所有 omem 求和,如果接近 300MB 以上,基本能确认有慢消费者在堆积大结果集,典型是某个服务端分页误用 KEYS 或 SMEMBERS 拉全量。处置是客户端改 SCAN 游标分批,服务端 CLIENT KILL 掉已经失控的连接。
repl_backlog_size 若是默认的 1MB,mem_total_replication_buffers 却显示上百 MB,说明大头在从库输出缓冲:从库消费慢、网络抖动或正在做全量同步。全量同步阶段从库缓冲会瞬时吞下整个 RDB 的传输量,这段窗口的内存不能按稳态规划。
剩下的部分再查两项:used_memory_scripts 是否为 0(有 Lua 业务时脚本体积会累积),以及 MEMORY STATS 里 overhead.hashtable.main 与 overhead.hashtable.expires 是否接近常规值的两倍(rehash 期间两张表并存)。
对完这三项,overhead 基本能解释完。若还有 10% 以上的差额,看 lazyfree_pending_objects:非 0 表示有异步删除任务在排队,内存尚未归还,属于临时状态,不必当作泄漏处理。
估算侧还有一个容易忽略的点:used_memory_dataset_perc 的计算分母是 used_memory 减去 used_memory_startup,不是直接除以 used_memory。所以小实例上这个百分比天然偏低,别拿它和线上大实例横向对比。
六、容量规划里的三种估算误差
第一种是编码假设错误。同一个业务对象,用 String 存 JSON 与用 Hash 存字段,内存能差出一倍以上:Hash 在字段数不超过 128、单值不超过 64 字节时用 listpack 编码,省掉了每个字段的 dictEntry 与 robj,而 String 存 JSON 除了 JSON 本身的字节还要加上 SDS 头。估算时按 OBJECT ENCODING key 确认实际编码,别照文档的"临界值"想当然。
第二种是 key 数量被忽略。上面算过 1 亿个 key 的固定成本接近 10GB,但很多人规划时只算 value 大小乘以数量。做容量评审时先问一句"这套 key 是一亿个还是十万个",结论可能完全不同。
第三种是尖峰被平均掉。used_memory_peak 与当前值的差距就是尖峰幅度,营销活动、批量导入、凌晨跑批都会制造台阶。容量按峰值留两成余量比按日均值靠谱得多;CONFIG SET maxmemory 调大只需要一条命令,但扩容物理内存不是。
常见坑 / 最佳实践
- 别在小实例上看 mem_fragmentation_ratio 下结论。 used_memory 只有几 MB 时比值天然失真,判断碎片看 mem_fragmentation_bytes 的绝对值更可靠。
- used_memory_peak 要纳入容量评估。 peak 远高于当前值说明历史上出现过尖峰,容量与 maxmemory 要按峰值留量,而不是按当下水位。
- MEMORY USAGE 的默认 SAMPLES 5 是估算值。 精确对账才用 SAMPLES 0,且避开业务高峰,大 key 的全量统计同样阻塞主线程。
- mem_clients_normal 持续偏高先查两类连接。 执行 MONITOR 的调试端与消费慢的大结果集连接,必要时 CLIENT KILL 处置,客户端侧改游标分批。
- maxmemory 0 的实例也要读这本账。 设上限之前必须先回答"设多少合适",估算口径与余量规则见内存上限与预警水位一篇。
小结
- INFO memory 是三层账:逻辑 used_memory、分配器 allocated/active/resident、物理 RSS,健康状态是逐层小幅递增。
- used_memory_overhead 与 used_memory_dataset 把逻辑账一拆为二,dataset 占比长期偏低说明开销异常。
- 隐性开销来自客户端缓冲、复制缓冲、AOF 重写缓冲与脚本缓存,rehash 膨胀要看 MEMORY STATS。
- 单 key 用 MEMORY USAGE(集合默认抽样),全库按总账、净重、TOP key、开销清单四步核对。
- 1 亿个 key 光固定成本就近 10GB,key 数量治理与小对象合并是最大的省内存杠杆。
- 点赞
- 收藏
- 关注作者
评论(0)