浅谈云存储,OBS\EVS\SFS。

举报
绯村大佬 发表于 2018/12/11 12:27:17 2018/12/11
【摘要】 首先跳过传统存储模式SAN机构,我们直接来聊聊ServerSAN,虽然不是扫描新技术但是其也有有趣之处。ServerSAN的概念其实就把传统模式的计算和存储资源进行融合,其中由多个独立的服务器自带的存储组成了一个存储资源池。(ServerSan构建在通用X86服务器上,计算存储融合)其特征为专有设备变通用设备、计算与存储线性扩展、并且简化管理,降低投入成本。传统的存储系统与硬件高度集成,而S...

首先跳过传统存储模式SAN机构,我们直接来聊聊ServerSAN,虽然不是扫描新技术但是其也有有趣之处。

ServerSAN的概念其实就把传统模式的计算和存储资源进行融合,其中由多个独立的服务器自带的存储组成了一个存储资源池。(ServerSan构建在通用X86服务器上,计算存储融合)其特征为专有设备变通用设备、计算与存储线性扩展、并且简化管理,降低投入成本。传统的存储系统与硬件高度集成,而SeverSAN产品以独立的软件型式存在,与硬件解耦,不与特定硬件绑定。

以华为产品fusionStorage为例进行对比

传统存储
fusionStorage
机头瓶颈:双控-16控,无法线性扩展
分布式控制器,理论上可无限扩展
元数据服务集中于机头,易出现性能瓶颈
元数据服务由分布式控制器提供
IO集中于有限的机头,易出现IO瓶颈
IO由无状态的分布式软件提供
Cache瓶颈通常为GB级别
分布式Cache能达到TB级别
网络瓶颈为:10G\8G FC(大部分也有IB组网)
P2P无阻塞高速IB网络56IB RDMA
存储资源缺乏共享,不易管理
数据中心级资源共享和统一管理

传统.png

传统存储资源缺乏共享:传统存储设备和资源往往由不同厂家提供,之间无法进行资源共享,数据中心看到的是一个个孤立的存储资源。
传统存储一般采用集中式元数据管理方式,元数据中会记录所有LUN中不同偏移量的数据在硬盘中的分布,例如LUN1+LBA1地址起始的4KB长度的数据分布在第32块硬盘的LBA2上。每次IO操作都需要去查询元数据服务,随着系统规模逐渐变大,元数据的容量也会越来越大,系统所能提供的并发操作能力将受限于元数据服务所在服务器的能力,元数据服务将会成为系统的性能瓶颈。
分布式架构1.png分布式.png

数据中心级资源共享:一个数据中心内可以构建一个很大的存储资源池,满足数据中心内各类应用对存储容量,性能和可靠性的需求;实现资源共享和统一管理。
云数据中心的新存储投资选择。
FusionStorage采用的DHT算法具有以下特点:
均衡性:数据能够尽可能分布到所有的节点中,这样可以使得所有节点负载均衡。
单调性:当有新节点加入系统中,系统会重新做数据分配,数据迁移仅涉及新增节点,现有节点上的数据不需要做很大调整。
FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备,提供比SAN设备更高的IO,把性能发挥到了极致;性能提升1-3倍。
FusionStorage采用无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源,提供比集中式机头更高的IOPS和吞吐量。
例如:假设系统中有20台服务器需要访问FusionStorage提供的存储资源,每台服务器提供给存储平面的带宽为2*10Gb,我们在每台服务器中部署1个VBS模块(相当于在每台服务器中部署1个存储机头),20台服务器意味着可部署20个存储机头,所能获取到的总吞吐量最高可达20*2*10Gb=400Gb,随着集群规模的不断扩大,可以线性增加的存储机头,突破了传统的双控或者多控存储系统集中式机头的性能瓶颈。

未完待续。。。。。。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。