《企业私有云建设指南》一2.4 存储资源管理

举报
华章计算机 发表于 2019/06/03 20:25:54 2019/06/03
【摘要】 本书摘自《企业私有云建设指南》一书中的第二章,第2.4节,作者是孙杰 山金孝 张亮 张婷婷

       2.4 存储资源管理

下面我们通过VMware和OpenStack这两个比较常用的IaaS管理平台来看看它们在存储资源管理方面的具体技术和实现。

       2.4.1 VMware

       1.存储资源池设计

       存储资源池通常包含两个部分:内部存储和外部存储。内部存储指的是服务器自带的存储介质。外部存储指的是服务器之外的存储设备,比如SAN、NAS等。一般服务器内部的存储介质容量有限,企业私有云数据中心主要使用的还是外部存储。

       2.存储资源的选择

       在企业级数据中心,虚拟化和云计算的大规模应用和深入对存储系统的一个最大挑战就是需要解决大规模虚拟机部署和业务上云所带来的存储压力和瓶颈。随着虚拟机数量的迅速增加,随机读取的陡增和写入I/O的爆发压力不可避免,这就必然提高了整个系统对于存储设备稳定性和I/O性能的要求。
       虚拟化环境存在的典型性能问题包括性能瓶颈、混合负载的优化问题、激增流量性能问题等,下面进行具体描述。
    ◆    性能瓶颈
       当主机对于存储访问的需求超过存储设备所能提供的性能时,就会出现性能瓶颈,这直接影响到主机上的应用性能。当将传统存储设备用于高度虚拟化环境、多个虚拟机的多个应用并行运行时,存储设备将难以提供充足的性能来满足实际运行要求。例如,一台服务器上可以部署10个虚拟机,但由于后端存储性能的限制,在实际业务过程中只能满足8个虚拟机的并行运行。
    ◆    混合负载的优化问题
       虚拟化常常在混合负载环境下运行:有可能某一个虚拟机在传输大文件时,另一个虚拟机却在访问流媒体,而其他虚拟机则在运行某个业务的数据库。在这种情况下,存储阵列就会出现多个大的I/O顺序读写和在线小I/O交易数据处理的并行运行,从而导致存储资源的争用。采用传统存储来处理混合负载问题不仅使性能调优变得更加困难,还会因为资源的争用导致系统整体性能下降。
    ◆    激增流量性能问题
       虚拟化和云计算的工作负载常常是不可预测的,因此数据流量激增往往会导致性能问题。随着虚拟化技术的提高和业务云化的深入,单个物理机上运行的虚拟机和应用越来越多,我们难以预料在某个时刻某一应用是否会有突发的大流量产生。我们希望存储能自动扩展,动态分配容量和性能,以满足突发流量的各种需求。
       除了需要考虑存储的各种性能问题,对于存储资源利用率的提高和优化也是建设存储资源池时要考量的。在企业数据中心,云环境下的存储资源利用率一般从以下几个方面来考虑。
    ◆    SLA(服务水平协议)级别的存储资源利用率
在企业级数据中心和云计算环境下,如何根据服务水平需求细粒度地动态配置资源,对SLA级别的存储资源利用率起着决定性作用。
    ◆    配置存储资源利用率
       在传统存储中,配置的存储容量中只有很少一部分得到实际使用,剩下的大部分被预留用于未来的业务发展,这就导致存储资源利用率低下。同时,这些长期处于闲置状态的存储资源依然需要消耗存放空间、电力、散热和维护资源。
    ◆    存储容量利用率
       由于我们无法准确预估一个业务的增长和所需求的存储空间,一般在分配存储资源时采用精简配置。但是在数据保护和业务连续性过程中,一些自动精简技术只能实现配置过程的精简,不能保证恢复过程的精简,这就导致存储容量在数据恢复过程的浪费。另外,传统存储预配置造成的存储容量浪费,在远程复制、镜像和快照等实现数据保护和业务连续性过程中得到进一步放大。
    ◆    虚拟机容量利用率
       虚拟化可能带来虚拟机蔓延和已配置的虚拟机空间闲置。此外,在测试和研发业务中,在项目完成且数据迁移后,为虚拟机配置的空间会导致大量退役后虚拟机闲置资源的积累。如果无法有效回收这些闲置的存储容量,不仅会造成虚拟化环境存储成本的快速上升,也会导致虚拟化环境运营成本的更大浪费。

       3.存储资源的设计方法

       在一个企业级数据中心,基于云计算和虚拟化环境对存储资源进行设计时,首先要基于业务的需求,根据业务的规模和业务类型,通过采集基础数据,整理出业务需要的存储容量、性能和可用性级别要求,并根据预计使用的存储设备的类型规格,计算出所需要的存储资源配置。
存储资源设计从信息收集到输出详细的存储资源配置方案经过如下几个过程:
    ◆    获取基础数据
      对于现有的业务应用服务器,在数据增长量是可预计的情况下使用各种服务器性能采集工具,通过采集一段时间的服务器关键性能数据(如一个月),收集到对该业务具有关键作用的物理服务器的CPU、内存、存储、网络、磁盘I/O等数据,以便准确充分地对存储性能需求进行评估。
       对于新添加的业务应用,如果对该业务的存储资源、业务增长率有比较准确的估计,则可以根据这些数据,结合业务类型并依据业界通行的存储性能估算方法,计算出该业务对存储的性能需求。反之,如果对该业务的存储资源、业务增长率没有比较准确的估计,但其他企业已有大致相同规模的同类应用,则可以参考业界对该类型服务器的存储需求,或采用对该业务进行开发测试的推荐存储需求,作为该服务器的存储需求。
    ◆    方案设计
根据上一步骤获取的存储性能和容量数据,推荐使用的存储类型、接口方式、RAID类型、磁盘类型等,相关信息包括IP SAN或FC SAN的配置信息、存储机柜的数量、存储集群的数量和每个集群下LUN的数量。
       其中IP SAN或FC SAN的配置信息包括IP SAN或FC SAN的总数量,单台IP SAN或FC SAN的硬盘数量、硬盘类型,SAN的RAID类型、数量、热备盘数量。
    ◆    存储资源规划
       根据存储方案设计,即可产生相关的存储资源规划。具体的规划包括:
    ◆    SAN控制器的前端口地址
    ◆    存储的RAID和LUN命名、容量大小
    ◆    LUN的条带深度
    ◆    SAN主机和主机组的命名
    ◆    SAN标识
    ◆    硬盘的划分
    ◆    存储设备的组网
       例如,某数据中心SAN存储资源池的规划如下。
       SAN的存储资源池主要为数据库和虚拟化两类业务提供存储空间,生产区采用EMC高端存储和华为中端存储来搭建存储资源池,业务系统优先使用EMC高端存储,开发测试区以华为中端存储为主。根据业务需求通过云管理平台对所有存储资源进行统一的分配和回收,达到存储资源高效利用的效果。
       存储资源划分为三个服务层级,高性能层采用RAID1的SSD磁盘,为极端强调性能的数据库提供存储空间,并为数据库的Redo Log提供存储空间。性能层采用RAID1的SAS磁盘,主要提供给一般性能要求的数据库应用。容量层采用RAID5的SAS磁盘,主要提供给虚拟机环境使用。存储资源由存储管理平台集中管理和调度,并提供API接口供云管理平台进行资源纳管。

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。