对象共享与整数编码:藏在 refcount 里的内存账

举报
yd_94907100 发表于 2026/11/15 15:02:58 2026/11/15
【摘要】 理解 int、embstr 与共享对象池,看清 Redis 省内存的细节

每个 Redis 值都是一个 redisObject:16 字节的头部记录类型、编码、LRU 信息、引用计数和数据指针。一百万个 key 的 value 都是数字 42,Redis 只会创建一个对象——这就是对象共享。弄清 int、embstr、raw 三种字符串编码和 0~9999 共享整数池的规则,能解释很多"内存对不上"的疑问,也直接影响容量规划。本文以 Redis 7 为准拆解这套机制。

一、字符串的三种编码

SET 写入的任何值都是字符串对象,按内容选编码:

SET counter 123
OBJECT ENCODING counter      # "int":能转成 long 的整数,直接存数字,无 sds 字符串
SET greeting hello
OBJECT ENCODING greeting     # "embstr":≤44 字节,对象头与数据一次分配
SET bio a-very-long-string-over-forty-four-bytes...
OBJECT ENCODING bio          # "raw":两次分配,通用格式

embstr 的 44 字节不是拍脑袋:jemalloc 的最小分配单元是 64 字节,redisObject 头占 16 字节、sds 头占 3 字节、结尾留 1 字节,正好塞下 44 字节数据,一次分配完成、内存零浪费。长度超 44 转 raw,需要两次分配和两个指针。

sds 头占 3 字节这个数字需要说明:sds 按字符串长度分了五种头部结构,最短的一种叫 sdshdr5,用 1 字节记录类型与长度;常用的 sdshdr8 用 1 字节记录长度、1 字节记录已分配空间、1 字节记录类型标志,共 3 字节。44 字节的算法正是基于 sdshdr8。这个细节解释了一件事:为什么短字符串比长字符串划算得不成比例——不只是数据少,连头部结构与指针都省了。

顺带看这 16 字节的构成:type 与 encoding 各 4 字节,lru 占 24 位,refcount 4 字节,ptr 指针 8 字节。LRU 与 LFU 共用这 24 位——LRU 存秒级时钟,LFU 拆成 16 位分钟时钟加 8 位对数计数器。这正是后文"共享与 LRU/LFU 冲突"的根源:lru 字段要按 key 记账,共享对象全库一份,没法替每个 key 记。

int 编码值得单独说一句。它没有 sds 结构,整数值直接存在 ptr 字段里——指针本身 8 字节,正好装下一个 64 位整数。所以一个 int 编码的值在数据层面是零额外内存,只有 16 字节对象头。这也是为什么把 "active" 改成 1 能省下几十字节:字符串要有 sds 头加数据,整数只用已有的指针位。

二、共享整数池

服务启动时,Redis 预先创建 0~9999 共一万个整数对象(OBJ_SHARED_INTEGERS = 10000)。写入这个范围内的整数值时,不新建对象,而是让 key 的指针指向共享对象,refcount 加一:

SET a 42
OBJECT REFCOUNT a     # 2147483647:共享对象用 INT_MAX 表示永不销毁
SET b 42
OBJECT REFCOUNT b     # 同样是 2147483647,a 和 b 指向同一对象
SET c 10000
OBJECT REFCOUNT c     # 1:超出范围,独享对象
SET d 3.14
OBJECT ENCODING d     # "embstr":浮点不进共享池

收益在哪?一百万个状态码为 42 的 key,省下的是一百万次 16 字节对象头加数据存储的分配。共享是纯指针操作,读写零额外成本。算一笔账:42 这样的整数对象,16 字节头加数据实际落在 32 字节的分配块里;百万 key 共享后省下约 32MB,三个 key 独享则省不了什么。共享收益随 key 规模线性放大,小实例无感,大实例可观。这也解释了数字状态字段为什么比枚举字符串省得多:除了共享,int 编码本身就没有 sds 头部与额外分配块,一个值从双引号 active 换成 1,就从约 80 字节的 embstr 变成零增量指针,百万 key 就是几十 MB 的差距。

三、共享会失效:LRU/LFU 的例外

有一个重要例外:配置了 LRU 或 LFU 淘汰策略时,整数共享被禁用。原因是 redisObject 的 24 位 lru 字段要按 key 记录访问时间或频率,而共享对象是全库共用一份,无法为每个 key 单独记账。maxmemory-policy 设为 allkeys-lru、volatile-lru、allkeys-lfu、volatile-lfu 时,SET k 42 会创建普通对象。业务同时需要 LFU 淘汰与海量小整数时,两者只能取其一:要么接受不共享的内存代价,要么把热点小整数收敛进 listpack 结构对冲,没有两全配置。

这意味着同一份数据在 noeviction 和 allkeys-lru 两种策略下,MEMORY USAGE 的结果不同。做容量评估时,必须按生产实际策略测,换策略后内存基线要重新校准。验证方法很直接:分别把 maxmemory-policy 设为 noeviction 与 allkeys-lru,对同一个 key 执行 OBJECT REFCOUNT,前者返回 2147483647(共享),后者返回 1(独享),用它在测试环境快速确认策略对内存基线的影响幅度。

把内存账单算得更细一点,能看清差距的构成。100 万个值为 42 的 key,在两种策略下分别占多少:

| 项目 | noeviction(共享) | allkeys-lru(独享) |

| --- | --- | --- |

| 值对象 | 1 个共享对象,约 32 字节 | 100 万个对象,每个约 32 字节 |

| 值内存合计 | 约 32 字节 | 约 32 MB |

| 淘汰所需的 lru 记账 | 无法记录,功能不可用 | 每个 key 独立记录 |

结论很明确:共享省下的是 32 MB 量级的 value 内存,而 key 本身(字符串对象加哈希表条目)在这两种情况下都占约 80 到 100 MB,共享并不能改变 key 侧的开销。所以一个常见的误判是"开了共享后内存还是没降多少"——如果没有先量化 key 与 value 各占多少,很容易把优化方向搞错。用 MEMORY USAGE 配合 MEMORY STATS 里的 dataset.bytes 与 keys.count 相除,能先算出平均每个 key 的开销,再决定是优化 key 还是 value。

四、实践中的推论

  1. 状态码、类型码、小数值优先用 0~9999 的整数,例如性别存 0/1、开关存 0/1,而不是 male/female,前者免费获得共享。上限一万是启动时一次性预建的常驻对象,成本固定,范围再大收益递减,这也是官方停在 10000 的原因。
  2. 计数器走 INCR 天然保持 int 编码;INCRBYFLOAT 会转成 raw,浮点计数不适合共享与紧凑存储。
  3. embstr 是只读的:对它执行 APPEND、SETRANGE 等修改命令会升级成 raw,且不回退。频繁追加的字符串一开始就该预期 raw 的内存开销。另一个边界:超过 int64 范围的长数字串无法用 int 编码,从写入起就是 embstr 或 raw,20 位的订单号按普通字符串计内存,这类字段想省内存只能靠缩短编码。
  4. key 对象不参与整数共享,共享只作用于 value;缩短 key 名省内存要靠更短的命名。
  5. 用 MEMORY USAGE 验证共享效果要排除 key 自身开销。 它返回的数字包含 key 字符串与字典条目摊销,单 key 对比看不出共享收益,应该用大批量同值 key 的总内存差来评估。

常见坑 / 最佳实践

  1. LRU/LFU 策略下内存会"莫名"变多。 不是泄漏,是共享被禁用,容量评估按实际淘汰策略重测。
  2. OBJECT REFCOUNT 返回 2147483647 不是 bug。 它是共享对象的哨兵值,看到它说明这个值零成本复用。
  3. 共享上限是硬编码 10000。 业务枚举值超过 9999 就独享对象,编码枚举时尽量收敛在万以内。
  4. embstr 转 raw 不回退。 修改后即使长度缩短,编码仍是 raw,热点小字符串避免反复 APPEND。
  5. 省内存的优先级排序:缩短 key/value > 合理的集合编码阈值 > 整数共享,最后一条是零成本加成,不要指望它替代前两条。

小结

  • 字符串按内容选 int、embstr(≤44 字节单次分配)、raw 三种编码,边界由 64 字节分配单元决定。
  • 0~9999 的整数共享同一对象,refcount 为 INT_MAX,百万 key 场景节省可观。
  • LRU/LFU 策略因 lru 字段记账冲突而禁用共享,容量评估必须按实际策略进行。
  • embstr 只读,修改即升 raw 且不回退;浮点不进共享池。
  • 共享是零成本的加成项,省内存的主力仍是缩短数据与集合编码调优。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。