Redis的数据淘汰策略

举报
yd_249383650 发表于 2024/02/28 09:34:58 2024/02/28
【摘要】 ​ 目录写在前面数据淘汰策略不进行数据淘汰策略进行数据淘汰策略LRU和LFU的对比写在前面我们都知道redis中的数据是采访在内存中的,在从redis中增删查改数据时,都是操作的内存中的数据,而内存是有限的,当内存被占满了之后,这时就有必要将一些数据清理淘汰掉,以便新的数据能够放到redis中。而到底需要去淘汰掉那些数据是我们需要去考虑的问题,也是我今天想谈的东西。Redis的内存大小可以通...

 目录


写在前面

数据淘汰策略

不进行数据淘汰策略

进行数据淘汰策略

LRU和LFU的对比



写在前面

我们都知道redis中的数据是采访在内存中的,在从redis中增删查改数据时,都是操作的内存中的数据,而内存是有限的,当内存被占满了之后,这时就有必要将一些数据清理淘汰掉,以便新的数据能够放到redis中。而到底需要去淘汰掉那些数据是我们需要去考虑的问题,也是我今天想谈的东西。

Redis的内存大小可以通过配置文件redis.conf中的maxmemory参数来进行配置。maxmemory参数的默认值为0,表示Redis可以使用的最大内存为无限大。

如果要限制Redis使用的最大内存大小,可以将maxmemory参数设置为一个正整数,表示Redis最大可以使用的内存大小(单位是字节)。例如,可以将maxmemory参数设置为"maxmemory 512mb",表示Redis最大可以使用512MB的内存。

通过设置maxmemory-policy参数来定义当内存不足时的处理策略。maxmemory-policy参数的默认值为"noeviction",表示当内存不足时,Redis会拒绝写入新数据。

其他可选的策略包括volatile-lru、allkeys-lru、volatile-random、allkeys-random、volatile-ttl和volatile-lfu等。需要注意的是,Redis的内存大小配置需要结合实际情况进行调整,避免内存不足或浪费。 

 注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所有数据尝试完毕, 如不能达到内存清理的要求,将出现错误信息如下:

(error) OOM command not allowed when used memory >'maxmemory'


数据淘汰策略

不进行数据淘汰策略

noeviction: 它是Redis3.0 之后,默认的内存淘汰策略,它表示当运行内存超过最大设置内存时,不淘汰任何数据,这时如果有新的数据写入,则会触发 OOM,但是如果没用数据写入的话,只是单纯的查询或者删除操作的话,还是可以正常工作。


进行数据淘汰策略

大体上可以分为4种,lrulfurandomttl。 

在设置了过期时间的数据中进行淘汰

  • volatile-random: 随机淘汰设置了过期时间的任意键值;
  • volatile-ttl: 优先淘汰更早过期的键值;
  • volatile-lru: 它是Redis3.0 之前,默认的内存淘汰策略,淘汰所有设置了过期时间的键值中,最久未使用的键值;
  • volatile-lfu: Redis 4.0 后新增的内存淘汰策略,淘汰所有设置了过期时间的键值中,最少使用的键值;

在所有数据范围内进行淘汰

  • allkeys-random: 随机淘汰任意键值;
  • allkeys-lru: 淘汰整个键值中最久未使用的键值;
  • allkeys-lfu Redis 4.0 后新增的内存淘汰策略,淘汰整个键值中最少使用的键值;

数据库有1000万数据 ,Redis只能缓存20w数据, 保证Redis中的数据都是热点数据 可以采用 使用 allkeys-lru (挑选最近最少使用的数据淘汰)淘汰策略,那留下来的都是经常访问的热点数据  。

如果Redis的内存用完了,要看redis的数据淘汰策略是什么,如果是默认的配置,redis内存用完以后则直接报错。

在实际使用中,可以根据具体的业务需求和数据特性选择合适的淘汰策略。例如,对于一些重要的数据,可以采用 noeviction 策略,以保证数据的完整性;对于一些缓存数据,可以采用 volatile-lru 策略,以保证缓存的有效性。

LRU和LFU的对比

LRU(最近最少使用):LRU策略根据数据项在过去的访问时间来确定淘汰哪些数据。最近最少使用的数据项将被优先淘汰。LRU的核心思想是,如果一个数据项最近被访问过,那么它在未来可能还会被访问到。

LFU(最不频繁使用):LFU策略根据数据项被访问的频率来确定淘汰哪些数据。访问次数最少的数据项将被优先淘汰。LFU的核心思想是,访问频次较高的数据项可能在未来还会被多次访问,因此应该保留在缓存中。

  • LRU侧重于数据项最近的访问时间,而LFU侧重于数据项的访问频率。
  • LRU易于实现,通常使用双向链表和哈希表。而LFU实现起来相对复杂,需要使用最小堆或哈希表等数据结构。
  • 在某些情况下,LFU可能比LRU表现得更好,因为它更关注访问频率。然而,LFU对于某些访问模式可能会导致较低的命中率。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。