【云驻共创】BoostKit鲲鹏全局缓存技术助力Ceph性能提升10倍,真香

码农飞哥 发表于 2022/01/20 16:38:15 2022/01/20
【摘要】 BoostKit鲲鹏全局缓存技术助力Ceph性能提升10倍,真香

今天开始学习BoostKit鲲鹏全局缓存技术,该技术是鲲鹏实验室最新开源的技术。
本文将从如下几个方面展开阐述。

  1. 存储行业特点及挑战
  2. 全局缓存创新与价值
  3. 全局缓存功能介绍
  4. 全局缓存使用介绍

1. 存储行业特点及挑战

有统计数据显示,企业应用每增加100ms存储时延会造成1%的销售损失。如下图所示:
在这里插入图片描述
从21年到23年,关键业务的占比从25%增加到60%,数据库等中高负载业务从45%减少到15%,一般业务从 30%减少到25%。
对于关键业务一般使用的存储类型是 增强型\极速SSD云硬盘(全闪存),这种方式主要的痛点是 要求极致时延和IOPS SSD使用成本高。
对于数据库等中高负载业务使用的存储类型是超高IO云硬盘(全闪存、均衡型SAS),这种方式的主要痛点是对性价比降低时延。
对于一般业务使用的是高IO云硬盘(均衡型SATA)

1.1.Ceph开源存储方案面临的性能挑战

在这里插入图片描述
Ceph开源存储方案面临的性能挑战主要是: IOPS性能低,IO时延高。 而造成这种情况的原因主要有如下三个方面:

  1. IO请求流程多,线程切换开销大
  2. IO处理流程长,队列等待多,端到端时延高。
  3. IO随机性大,磁盘带宽利用率低。

IO的写入流程是:

  1. Message 接受入队
  2. 三副本数据处理
  3. 数据持久化
  4. 元数据持久化
  5. 资源释放,响应完成。

我们可以看到一个完整的IO写入流程包括了5大流程,流程真的很长。
那么BoostKit鲲鹏全局缓存技术又是如何应对这些挑战的呢?

2. 全局缓存创新与价值

BoostKit鲲鹏全局缓存技术主要有三大创新技术,通过三大创新技术可以实现存储性能飞跃式提升。
在这里插入图片描述

  1. 缓存前后台分离,缩短IO路径
  2. IO聚合,实现磁盘带宽性能
  3. 智能预取,提高读缓存命中率。
    下面我分别就这三大创新技术进行一个简要的说明。

2.1. 缓存前后台分离,缩短IO路径

  1. 在计算侧(前台)重定向到全局缓存,读写IO请求直接在缓存中命中并实时反馈给上层应用。
  2. 全局缓存的IO数据异步下刷到后端存储侧(后台)或提前预取数据到全局缓存
    其实现流程如下图所示:
    在这里插入图片描述
    从图中可以看出读IO和写IO都是在全局缓存中实现的。
    写IO首先将数据写入缓存中,然后异步下刷到磁盘中。
    异步IO批量预取提前命中,异步数据预取,读IO直接从缓存中取数据。
    这样做的好处就是 提高了异步刷盘速率,保证写缓存100%命中,降低写时延。
    提高预取准确率,加大缓存容量,保证读缓存80%命中,降低读时延。
    如下图所示:展示了缓存前后台的具体实现。
    在这里插入图片描述
  3. 流程解耦:写缓存刷盘,读缓存淘汰无需互斥,可灵活控制各自水位。
  4. 资源解耦:读写缓存并发,Quota资源等解耦,避免相互影响。
  5. 介质类型解耦:读写缓存可分为管理异构缓存介质(RAM,NVMeSSD),实现介质分离。
  6. 冗余策略优化:读cache使用单副本,提高cache空间利用率,写cache使用三副本,保证数据可靠性。

2.2. IO聚合,实现磁盘带宽性能

  1. IO聚合:通过聚合算法,回写策略和垃圾回收等能力,实现随机写小IO聚合成顺序写大IO,实现磁盘带宽的利用率,使性能得到大幅提升。
  2. 按需读取:从元数据中获取小IO映射关系,下盘读取小IO数据,无读放大。
  3. 通过高效的索引算法和数据排列,仅提高有效数据块,并和新写入的数据进行IO聚合,减少IO开销和降低垃圾对业务的影响。
    具体实现如下图所示:
    在这里插入图片描述

2.3. 智能预取,提高读缓存命中率

基于创新的负载识别算法,识别不同应用访问Pattern(如流式、关联、热点等),并通过归一化特征模型制定最优参数(预取门限,长度等),实现80%以上缓存命中率和2倍+读性能提升。
如下图所示:展示了智能预取分离技术架构:
在这里插入图片描述
这里主要有两个技术

  1. 双引擎分离:创新性的Client端推荐引擎+Server端执行引擎分离的智能预取架构。
  2. 全局精准推荐:推荐引擎拥有全局数据访问视图,从而进行全局精准推荐。

3. 全局缓存功能介绍

3.1. 全局缓存技术的整体架构

说完了全局缓存的创新点之后,接下来让我们来看看全局缓存的各个核心功能。
全局缓存技术的整体架构如下图所示:
在这里插入图片描述
可以用三横+两纵来总结全局缓存技术框架。
三横:客户端集群、缓存集群、存储集群
两纵:读写路径分离双驱加速的逻辑布局。

  1. 写缓存:数据写入、删除功能、保证Cache前后台写低时延、
  2. 读缓存:数据读取功能,数据预取和淘汰、保证高Cache命中。
  3. 元数据管理:高性能元数据管理引擎、小IO聚合、垃圾回收
  4. 集群管理:集群管理、运行状态管理,故障处理框架。
  5. 持久化:数据持久化存储,三副本资源池,介质管理。
  6. 适配层:对接开源Ceph存储,终结Ceph语义。
  7. 基础设施:系统启动、内存管理、日志、命令行、系统调度。

3.2. 全局缓存功能规格一览

1. 高性能
支持单节点 14W IOPS,1ms时延。
2. 集群兼容性

  • 提供无侵入式接口API支持主流ceph集群接入
  • 支持块存储服务,对象存储服务
  • 支持快照及克隆功能
  • 支持鲲鹏平台硬件,openEuler,RedHat系统
    4. 可靠性
  • 数据持久化存储防掉电丢失。
  • 数据三副本以节点域存储,防止单点故障。
  • 支持集群故障自动检测,自动故障切换和恢复。
    5. 安全性
  • 数据通道和管理通道默认支持TLS1.3 安全传输
    7. 扩展性
  • 支持按需增加缓存节点扩展缓存规模
  • 支持在线升级
  • 数据持久化存储防掉电丢失
  • 数据三副本以节点域存储,防止单点故障
  • 支持集群故障自动检测,自动故障切换和恢复。

4. 全局缓存使用介绍

说完了那么多BoostKit鲲鹏全局缓存技术的功能和好处,那么如何使用BoostKit鲲鹏全局缓存呢?
首先找到用户指南,指南地址是:https://support.huawei.com/enterprise/zh/doc/EDOC1100228002?idPath=23710424%7C251364417%7C9856629%7C253662285
在这里插入图片描述
按照用户指南一步步去操作使用吧!!!!

总结

本文从四个方面阐述了BoostKit鲲鹏全局缓存技术,该技术针对Ceph开源存储方案存在的痛点,采用三大创新技术,有效的提高了Ceph的性能,最高可以将Ceph性能提升10倍。如下图所示:
在这里插入图片描述
本文整理自华为云社区【内容共创】活动第12期。
查看活动详情:https://bbs.huaweicloud.com/blogs/325315
相关任务详情:任务13.【鲲鹏直播间】BoostKit 全局缓存技术

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。