- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

【技术补给站】第10期：分析内部运行机制，教你解决Redis性能问题

华为云社区精选发表于 2021/05/26 14:55:34 2021/05/26

【摘要】聚焦Redis的性能分析，思考Redis 可以通过哪些机制来提高性能，当性能瓶颈发生的时候，我们又能做出哪些优化策略，最终确保业务系统的稳定运行。

Redis是一种键值数据库，有着时延低、性能好、数据结构丰富的特点，常用作缓存、排行榜、计数器、消息队列等，是电商秒杀、聊天系统等业务场景中的“熟客”。

作为一个“缓存中间商”，Redis的性能问题至关重要，一旦发生操作延迟问题，很容易引起连锁反应。所以本文聚焦Redis的性能分析，从Redis的基本概念出发，了解Redis是什么，它的运行机制，思考Redis可以通过哪些机制来提高性能，当性能瓶颈发生的时候，我们又能做出哪些优化策略，最终确保业务系统的稳定运行。

读懂Redis：缓存神器原来是这样工作的

一个网站总有大量的数据是用户共享的，如果每个用户都去数据库查询，效率就太低了。所以有了新的解决方案：将用户共享数据缓存到服务器的内存中。

举个例子，应用程序们从MySQL查询到的数据，会到Redis这里登记，后面再需要用的时候，就先查找Redis的缓存，无需返回到MySQL查找。一套流程下来，为MySQL减轻了不小的负担，网络服务的性能显著提升。

Redis堪称数据库届的万金油，哪里需要往哪里搬，这也得益于它有着丰富的数据结构，以及强大的读写性能。

以数据结构为例，Redis和其他结构化存储的重要区别便是，它不仅支持字符串，还支持不同类型的抽象数据结构，如列表、映射、集、排序集、HyperLogLogs、位图、流和空间索引等。那么Redis是如何做到如此“万能”的，它支持的这些数据结构又是如何从底层实现呢？《三次给你聊清楚Redis》之Redis是个啥就从非关系型数据库谈起，详细聊了聊这个问题，就像最简单的字符串，Redis并未沿袭传统c语言的惯例，而是单独构建了一种简单的动态字符串抽象类型，并充分利用SDS实现。

当然，如果你想进一步了解Redis系统的设计理念，比如它通过什么机制将数据缓存到内存中，开发大系统必备技术之Redis技术学习与研究或许会给你一些启发，作者谈到了Redis的历史、流行度、设计思想，并通过支持Redis的Java客户端Jedis ，用详尽的代码案例一步步演示了它支持的数据类型使用方法，它的事务特性、集群等等，更为具象地了解Redis的特点。

当我们对Redis的基本原理了然于胸后，再针对业务场景进行优化时，也能更合理地使用各种Redis命令。

Redis性能：祸福相依的内部运行机制

Redis的最大特点是使用内存来存储数据，当内存超过物理内存的限制后，内存数据会和磁盘产生频繁的交换，最终导致Redis性能急剧下降。所以在生产环境中我们通过配置参数maxmemoey来限制使用的内存大小。在有趣的Redis：缓存被我写满了，该怎么办？中，作者详细解释了2个常见的缓存淘汰算法LRU算法和LFU算法，如何删除那些没用的数据。

另一方面，Redis为了把内存中的数据持久到磁盘上，也提供了完善的持久化机制，主要包括2种：

RDB：产生一个数据快照文件
AOF：实时追加命令的日志文件

但是如果配置不合理，持久化会占用过多内存从而影响性能。举个例子，如果AOF的刷盘时机设置为每次写入都刷盘，由于每次写命令都需要写入文件并刷到磁盘中才会返回，当写入量很大时，会增加磁盘IO的负担，大大降低Redis的写入性能。Redis 持久化是如何做的？一文聊聊 RDB和AOF对比分析谈到了这两种持久化机制对Redis性能的影响，建议大家针对不同的业务场景选择合适的持久化方式。

在讨论Redis性能问题的时候，不得不提的一点是它的单线程结构，这里的单线程指的是执行命令，比如一条命令从客户端到达服务端不会立刻被执行，而是会进入一个队列中等待，每次只会有一条指令被选中执行。【Redis破障之路】：Redis单线程架构详细分析了单线程模型的Redis为什么性能如此之高，能达到每秒万级别的处理能力，简单透露两点：纯内存访问、I/O多路复用技术，具体可以阅读文章。而Redis的单线程架构，也意味着网络问题会对它的性能产生一定的影响。

另外，当业务规模扩大，单个Redis服务无法承载的时候，我们常常会用分布式架构来提高Redis的性能，Redis主从复制以及哨兵的原理解读和 Redis Sentinel 源码：Redis的高可用模型分析都讨论了主从模式下的关键功能：哨兵，通过对其源码的理解，详细说明了哨兵的代码实现方式，并学会使用哨兵功能解决主节点的写能力、存储能力限制等等。

除此之外，诸如数据结构的复杂度、网络带宽、操作系统以及硬件本身都会对Redis的性能产生影响，它的性能问题几乎涵盖了 CPU、内存、网络、磁盘的方方面面，再此不一一赘述。

综上，我们分析了影响Redis性能的一些关键内部机制，比如它的缓存淘汰算法；它的持久化会占用过多内存从而影响性能；它的单线程架构等。通过了解Redis的这些内部实现原理，也能进一步帮助大家排查它的性能问题。

Redis调优：宕机怎么办？收下这几颗灵丹妙药

下面，我们将给出一些应对Redis性能问题的解决方案。

以常见的缓存问题为例，通常情况下，Redis缓存层由于某种原因宕机后，所有的请求会涌向存储层，短时间内的高并发请求可能会导致存储层挂机，称之为“Redis雪崩”。Redis缓存异常应对方案分析有针对性的总结了Redis发生缓存穿透、雪崩、击穿情况时，能够有效应对的解决方案，比如不要给访问频繁的热点数据设置过期时间，从而解决Redis实例没有起到缓存层作用的问题。

大key也是影响Redis性能的关键因素，如果一个 key 写入的 value 非常大，那么 Redis 在分配内存时就会比较耗时。同样的，当删除这个 key 时，释放内存也会比较耗时，这种类型的 key 我们一般称之为大key。在分布式缓存数据库Redis大KEY问题定位及优化建议中，作者就针对数据库报错OOM来一步步分析大key的问题，先是查看Redis集群内存监控指标，确认内存异常分片，然后通过在线&离线工具分析，结果显示大key导致数据大小分布不均。对此作者给出了两个方案：短期是删除查询到的key，长期是对大key进行拆分。

另一个经常被诟病性能问题的是fork， fork是开源Redis的一个重要依赖，当 Redis 开启了后台 RDB 和 AOF rewrite 后，在执行时，它们都需要主进程创建出一个子进程进行数据的持久化，fork就是创建子进程的系统调用函数。

在华为云GaussDB(for Redis)服务团队支撑某客户业务上云的过程中，就发现了由fork引发的时延抖动问题，文章一场由fork引发的超时，让我们重新探讨了Redis的抖动问题还原了当时的场景，探究了fork对性能的影响，包括业务抖动、内存率利用率降低和实例容量受限。比如，在电商大促、热点事件等业务高峰时发生上述fork，会导致Redis阻塞，进而对业务造成雪崩的影响。

团队通过修改日志、系统性排查整改代码中的 fork调用，最后在新版本GaussDB(for Redis)中解决了该问题，并清零了内部的fork使用，与原生Redis相比，彻底解决了fork的性能隐患。

其实，考虑到业务场景越来越复杂，原生Redis出现性能瓶颈难以避免。这时候，最简单粗暴的解决方法就是使用商业版本的Redis，一劳永逸解决可能存在的性能问题。

在 GaussDB(for Redis)与原生Redis集群的性能对比中，就比较了华为云自研Redis和原生Redis集群在X86架构下的性能测试报告，结果表明GaussDB(for Redis)在性能、抗写和存储成本上的优势明显。

从相识到相惜：Redis与计算存储分离四部曲进一步从技术角度拆解分析了GaussDB(for Redis)如何在存算分离的架构下，实现强一致、秒扩容、超可用、低成本。以强一致为例，Redis遇到流量压力进行主从切换时很容易发生数据不同步问题，GaussDB ( for Redis)就在存储层（DFV层）去进行强一致的数据同步，而非计算层，这样就避免了任何中间态下的数据的不一致，再也不用担心宕机导致数据丢失。更多的技术细节揭秘，也可以阅读这组专题高斯Redis揭秘系列文章，更全面的认识GaussDB ( for Redis)。

Redis的性能问题，涉及到的技术细节很多，本专题只是列出了一些较为典型的问题，希望读者能够通过上述提及的技术文章，对它有更深入的认识，学会从底层运行机制去思考Redis的性能调优。