深入浅出Redis（二）：Redis单线程模型与通信流程

深入浅出Redis（二）：Redis单线程模型与通信流程

引言

Redis是一款基于键值对的数据结构存储系统，它的特点是基于内存操作、单线程处理命令、IO多路复用模型处理网络请求、键值对存储与简单丰富的数据结构等等

本篇文章主要围绕Redis中IO多路复用模型处理网络请求的特点来先从介绍IO模型，IO多路复用模型以及客户端与服务端的通信

IO模型

• IO请求（读）数据会切换至操作系统内核态来完成真正数据读取，而读取又分为两个阶段，分别为：

  1. 等待数据：调用后需要等待数据准备好
  2. 复制数据：当准备好数据后，将数据从内核空间复制到用户空间

常见IO模型

• 同步阻塞IO：发出IO请求（系统调用）后，阻塞等待内核准备数据，数据准备好了再把数据从内核空间拷贝到用户空间
  

  • 一个线程处理一个客户端，同时处理大量网络请求时需要的线程太多 ，且线程IO请求时阻塞

• 同步非阻塞IO：线程轮循发起IO请求，如果没准备好数据返回告知数据未准备好，这样就会下次再轮循访问，如果数据准备好了就能够将数据从内核空间复制到用户空间

一个线程处理一个客户端，同时处理大量网络请求时需要的线程太多，虽然线程IO请求时不阻塞，但是轮循发起IO请求会浪费CPU（CPU空转）

• IO多路复用：使用选择器（select）阻塞等待事件，当监听accept事件说明要建立连接（与对应客户端建立套接字连接才能进行读写事件），一次监听可能携带多个事件需要处理
  

  • 一个线程监听多个客户端，轮循select阻塞，监听到套接字触发读/写事件时再进行处理（循环处理可能有多个客户端同时触发读写事件）

没看懂IO多路复用模型的同学可以继续往下看，下文会详细介绍IO多路复用模型的流程

通信

通信流程主要划分为：服务端要进行初始化，初始化后才开始循环处理事件，服务端在处理事件期间会维护客户端相关信息

服务端初始化

初始化

1. 初始化服务端默认配置
2. 根据启动命令更改配置
3. 初始化数据结构
4. 根据AOF或RDB恢复数据（根据持久化策略恢复数据，后续持久化文章会详细介绍）
5. 开始事件循环（处理事件）

处理事件

处理事件可以看成处理客户端请求与维护管理服务端自身的资源

事件被分为文件事件和时间时间

文件事件常是处理客户端请求，时间事件常是定时、周期任务来检查/管理服务端资源

文件事件

Redis 使用IO多路复用模型 监听多个客户端的套接字，当感知到套接字上发生事件时，将事件放入队列中，由文件事件分派器依次取出事件并交给对应事件处理器处理

事件类型可以分为读事件AE_READABLE、写事件AE_WRITEABLE，读写是以服务器为中心（起始）的，比如客户端发起连接请求、发送命令请求都是触发读事件，而客户端需要读响应时是触发写事件

事件处理器有连接应答处理器（处理连接的读事件），命令请求处理器（处理读事件），命令回复处理器（处理写事件），复制处理器（用于主从复制） 等等，本文主要使用连接应答、命令请求、回复三种处理器

• 流程

  1. 服务端初始化时，连接应答处理器与服务端监听套接字的读事件关联
  2. 客户端请求连接时，服务端套接字触发读事件，服务端监听到读事件并放入队列中，事件分派器取出后交给连接应答处理器处理，并将客户端套接字的读事件与命令请求处理器关联
  3. 客户端发送命令请求时，客户端套接字触发读事件，服务端监听到读事件并放入队列，事件分派器交给命令请求处理器处理，执行命令，准备回复，将客户端套接字的写事件与命令回复处理器关联
  4. 客户端准备读回复时，客户端套接字触发写事件，服务端监听到写事件并放入队列，事件分派器交给命令回复处理器处理，返回响应，取消命令回复处理器与客户端套接字写事件的关联

时间事件

时间事件分为定时时间事件和周期时间事件，定时为规定事件做一次，周期为以多少时间为周期做一次

时间事件处理器使用链表管理定时、周期事件，定期遍历链表，判断时间事件是否到期，到期则执行，执行完判断时间事件如果为定时则删除，为周期则更改下个周期到达时间

时间事件较少，基本上都是做一些定期检查，主要处理文件事件

服务器优先处理文件事件再处理时间事件

客户端信息

服务端使用RedisClient对象来存储客户端相关信息，使用链表管理RedisClient（所有连接的客户端）

• redis client 信息

  • 套接字描述符，判断客户端是否为伪客户端

    • aof伪客户端：aof客户端执行aof文件，执行完关闭
    • lua脚本伪客户端：执行lua脚本，整个生命周期都存在

  • 客户端名字、客户端标志（主从，状态等）、是否身份验证

  • 输入缓冲区：保存序列化的命令请求

  • 命令argv 与 参数个数 args ：解析序列化命令请求 得到命令与参数个数

  • 命令相关信息cmd : 根据argv 查询字典 得到命令相关的信息rediscommand

  • 输出缓冲区：保存回复响应，如果短字符串使用固定缓冲区（字节数组），如果长字符串使用动态缓冲区（链表+字符串）

  • 时间：记录连接时间等信息

通信流程

• 服务端处理请求流程

  1. 用户发送命令到客户端，客户端序列化后发送给服务端 （客户端与服务端建立连接时，连接应答处理器处理，让客户端套接字读事件关联到命令请求处理器）

  2. 服务端读取命令请求 （监听到读事件发生，最终由命令请求处理器处理）

     • 服务端接收序列化请求，解析出命令和参数个数填充属性argv、args参数
     • 通过命令argv与字典查询该命令相关信息 cmd指向该rediscommand

  3. 服务端执行命令 （执行完放到缓冲区，让客户端套接字写事件关联到命令回复处理器）

     • 执行前检查参数个数、身份验证等操作
     • 执行并将回复保存在输出缓冲区
     • 执行后检查慢查询、写AOF缓冲等操作

  4. 服务端回复响应给客户端，客户端反序列化展示给用户（客户端准备读取触发写事件，命令回复处理器处理响应回去，取消关联）

定时任务通常用来管理服务器资源：更新缓冲时间、每秒执行命令数量、已使用内存峰值，处理sigterm信号关闭前RDB，管理客户端连接、数据库资源，判断是否需要持久化等

总结

本文以Redis使用IO多路复用模型处理网络请求的为起点，介绍了IO模型，服务端初始化，服务端处理文件、时间事件，客户端信息以及完整的通信流程

同步阻塞IO模型，在处理大量网络请求时需要耗费一比一的线程，且发生系统调用读数据时线程会阻塞

同步非阻塞IO模型，虽然不阻塞但存在CPU空转，浪费性能

IO多路复用模型使用select监听套接字上的读写事件，select会阻塞，当监听到客户端套接字触发读写事件时，遍历处理所有套接字的读写事件

服务端初始化时主要是根据配置文件以及启动命令进行资源、数据结构的初始化，同时会根据持久化策略寻找RDB、AOF文件进行数据恢复，初始化完才开始循环处理事件

事件可以分为文件事件和时间事件，文件事件常用来处理客户端请求，分为读、写事件，当客户端套接字触发读、写事件时，将事件放入队列，文件事件分派器将队列中的事件依次交给对应的事件处理器；时间事件常是定时、周期任务，用来检查/管理服务端自身资源等

服务端处理事件期间，会使用链表管理维护客户端相关信息：输入缓冲区（序列化的命令请求）、命令与命令参数个数、命令相关信息（通过这些能够执行命令）、输出缓冲区（保存回复响应）

整体流程：

1. 服务端根据配置文件、启动命令初始化数据结构，将连接应答处理器与服务端监听套接字的读事件关联

2. 客户端发起请求建立连接时，服务端监听套接字读事件触发，连接应答处理器将客户端套接字读事件与命令请求处理器关联

3. 当客户端发送到服务端时，触发读事件，由命令请求处理器处理

   • 解析输入缓冲区的序列化请求，解析完保存完善客户端信息（命令相关信息）
   • 执行前检查参数个数、身份验证等
   • 根据客户端保存命令相关信息执行函数
   • 执行后还可能需要检查一些操作（如：检查慢查询、是否要写AOF缓冲区等），执行后将结果保存在输出缓冲区，让客户端套接字写事件关联命令回复处理器

4. 当客户端准备读时触发写事件，命令回复处理器将输出缓冲区响应返回

最后

• 参考资料

  • 《Redis深度历险》
  • 《Redis设计与实现》
  • 部分图片可能来源网络