解密Redis雪崩和穿透的高级架构实践

举报
赵KK日常技术记录 发表于 2023/09/22 23:39:49 2023/09/22
【摘要】 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 资源分享「java、python面试题」来自UC网盘app分享,打开手机app,额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://dr...

推荐阅读

AI文本 OCR识别最佳实践

AI Gamma一键生成PPT工具直达链接

玩转cloud Studio 在线编码神器

玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间

资源分享

「java、python面试题」来自UC网盘app分享,打开手机app,额外获得1T空间
https://drive.uc.cn/s/2aeb6c2dcedd4
AIGC资料包
https://drive.uc.cn/s/6077fc42116d4
https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#
821日更新自媒体素材网站,方便你的视频剪辑
SDXL专区8个教程,SD六日更新6个教程
8月资料专题已更新
https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

引言:

在大规模分布式系统中,缓存是提高性能和可扩展性的重要组件。然而,Redis作为一种常见的缓存方案,也面临着雪崩和穿透等问题。本文将深入探讨Redis雪崩和穿透的概念,并分享我们项目中采用的高级架构实践,有效避免了这些问题的发生。

第一部分:Redis雪崩

1.1 雪崩的定义和原因

Redis雪崩指的是在缓存失效的时候,大量的请求直接打到数据库上,导致数据库瞬间压力过大,甚至宕机的情况。雪崩通常是由于缓存过期时间设置相同或相近,或者缓存的服务器集中在同一个地方,当缓存同时失效时,大量请求直接落到数据库上,造成数据库压力激增。

1.2 解决方案

我们在项目中采用了以下几种方式来避免Redis雪崩问题的发生:

1.2.1 缓存失效时间随机化

为了避免缓存同时失效,我们将缓存的失效时间进行随机化处理。通过在原有失效时间基础上加上一个随机数,使得缓存的失效时间分散开,减少了大量缓存同时失效的可能性。

1.2.2 热点数据预热

在系统启动时,我们会提前加载热点数据到缓存中,避免在正式访问时大量请求落到数据库上。通过定时任务或者系统启动时的预热操作,我们可以确保缓存中的数据一直保持热点状态,减轻数据库的压力。

1.2.3 限流措施

为了避免大量请求同时打到数据库上,我们在系统中引入了限流措施。通过对请求进行限速或者限制并发数,我们可以控制请求的流量,保证系统的稳定性。

第二部分:Redis穿透

2.1 穿透的定义和原因

Redis穿透指的是恶意请求直接绕过缓存直接访问数据库,造成数据库压力过大。穿透通常是由于恶意请求的特征无法命中缓存,导致请求直接落到数据库上。

2.2 解决方案

我们在项目中采用了以下几种方式来避免Redis穿透问题的发生:

2.2.1 布隆过滤器

布隆过滤器是一种高效的数据结构,用于判断某个元素是否存在于集合中。我们可以将请求的参数经过哈希运算,然后在布隆过滤器中查找,如果不存在则直接返回,避免了对数据库的无效查询。

2.2.2 缓存空对象

对于没有命中的请求,我们可以将空对象也缓存起来,设置一个较短的过期时间,避免频繁查询数据库。当用户再次请求同样的数据时,可以直接从缓存中获取空对象,避免了对数据库的重复查询。

2.2.3 接口参数校验

为了防止恶意请求绕过缓存直接访问数据库,我们在接口层进行参数校验。通过对请求参数进行合法性校验,我们可以过滤掉大部分的非法请求,保证系统的安全性。

代码示例:

以下是一个简单的示例代码,展示了如何使用布隆过滤器来避免Redis穿透问题:

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class BloomFilterUtil {
    private static final int EXPECTED_INSERTIONS = 1000000;
    private static final double FPP = 0.01;

    private static final BloomFilter<String> BLOOM_FILTER = BloomFilter.create(Funnels.unencodedCharsFunnel(), EXPECTED_INSERTIONS, FPP);

    public static void add(String key) {
        BLOOM_FILTER.put(key);
    }

    public static boolean exists(String key) {
        return BLOOM_FILTER.mightContain(key);
    }
}

结论:

通过采用合理的架构设计和技术手段,我们可以有效地避免Redis雪崩和穿透问题的发生。在项目中,我们通过随机化缓存失效时间、热点数据预热、限流措施、布隆过滤器、缓存空对象和接口参数校验等方式,成功地解决了这些问题。这些经验和实践不仅提高了系统的性能和可靠性,也为我们在大规模分布式系统中应对类似问题提供了有价值的参考。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。