《企业私有云建设指南》一3.2.5　计算资源池设计

       3.2.5　计算资源池设计      

      计算资源池承载私有云中所有业务系统的计算需求，在进行计算资源池设计时需要注意如下两点：
       1）根据先进可用的原则，既要保证整个计算平台的运行稳定，又不能过多地追求高性能，要做到合理选型，合理分配。
       2）尽量的利旧，现有可用资源可以根据后续需要设计到整个计算平台中，防止浪费。
       在服务器选型方面要符合以下几方面的要求：可靠性、可用性、可扩展性、易用性、可管理性。
       ◆   可靠性
      衡量服务器可靠性的主要指标是平均失效间隔，发生故障时间越少，服务器的可靠性越高。对于可靠性要求很高的业务来说，即使是短暂的系统故障也会造成难以挽回的损失，所以在服务器的选择上，可靠性为一项重要的衡量指标。
       ◆   可用性
      可用性是通过系统的可靠性和可维护性等一些指标来度量的。通常用平均无故障时间来度量系统的可靠性，用平均维修时间来度量系统的可维护性。
对易损部件或设备采取保护措施可以提高服务器的可用性，如减少硬件的平均故障间隔时间和利用专用功能机制（如容错、冗余等）在出现故障时自动进行部件或设备切换，以避免或减少意外停机。
       ◆   可扩展性
       可扩展是指服务器的硬件配置，如内存、适配器、硬盘和处理器等可以在原有的基础上很方便地根据需要来增加。为了保持高可扩展性，通常需要服务器具备一定的可扩展性空间和冗余件（如磁盘柜盘阵位、PCI插槽和内存条插槽等）。
       ◆   易用性
       服务器的设计应多采用国际标准，机箱设计应科学合理、拆卸方便，可通过指示灯方便地查看服务器的运行状态；可热插拔部件较多，可随时更换故障部件，而且随机配有完善的用户手册，以指导用户迅速、简单地安装和使用。
       ◆   可管理性
       可管理性是云计算建设中选择服务器时应考虑的重要因素。使用合适的系统管理工具将有助于降低支持和管理成本，可有效监控系统的运行状态，及时发现并解决问题。通过服务器的硬件管理接口和管理软件，可对服务器的性能、存储、可用性/故障、网络、安全、配置、软件分发、统计、技术支持等内容进行监控和管理。
       另外，从服务器设备选型和成本方面考虑，建议计算资源池采用x86机架式服务器来替代以往的小型机。
        首先，该处理器能力越来越强大，产业链成熟。相对来说小型机的架构有着密闭性的特点，不同品牌的小型机在结构上具有一定的差异性，一旦选择某个品牌，则基本被绑定。而且从小型机的计算性能来说，国外品牌具有一定的垄断地位，国内技术与之相比，仍具有一定的滞后性。随着英特尔推出至强5600、至强7500处理器，x86服务器在计算能力、高可用性、可靠性等方面已经与UNIX服务器不分伯仲。从目前注重节能的趋势来看，随着制程的演进以及架构的优化，新一代的x86产品不仅将具备更高的效能，同时也具备了更低的功耗，对于极端注重省电的系统，也同样有相对应的产品线可供应用，这也是非x86架构难以比拟的。目前，大部分大规模云的构建都基于x86架构，如亚马逊、微软、Google、百度、阿里巴巴等。目前英特尔的处理器对于虚拟化的支持已经落实到芯片级，基于x86平台下的虚拟化是整个虚拟化界的趋势。比如在服务器虚拟化方面，VMware、微软、Citrix等虚拟化软件旨在充分利用服务器资源，而英特尔则从底层芯片上让虚拟化更为智能化。而在存储虚拟化方面，主流高端存储厂商也更加青睐x86架构，x86架构的开放性、标准化、扩展性及日益提升的性能最能代表当前技术的方向，以及满足用户在云计算方面日益多变的需求，所以采用x86架构更为合适。
       其次，在x86架构的服务器选择上，目前分为机架式服务器和刀片式服务器。刀片式服务器一般占10U左右的空间，集成14个刀片，集成度很高，但是在扩展性、散热性等方面表现较差，适合于高性能计算等。而且从投入成本角度来看，特别是在不需要满笼刀片的情况下，客户仍然需要为机箱、后备板、交换模块等基础设施投入资金。从网络角度来说，用户的网络环境将被刀箱后备交换模块所“绑架”。而机架式服务器具备更灵活的扩展性，可以根据用户需求，灵活地添加PCI-E扩展模块和进行网络配置。机架式服务器主要有双路和四路服务器，双路服务器多用于应用场景，四路服务器应用于数据库等场景。而60%的双路机架式服务器的市场份额也说明了该种选择所具有的市场代表性。所以在本项目中，计算资源池采用双路机架式服务器。
       虚拟服务器系统以x86平台服务器作为基础平台，在基础平台上通过部署云计算虚拟化软件完成资源池化，并根据业务系统的不同需求生成不同配置的服务模板以及虚拟机，部署服务器操作系统及服务器业务应用，对外提供虚拟计算服务。
       虚拟资源池中的业务系统可根据规模或安全相关性设定虚拟逻辑域，每个逻辑域内配置不同数量的服务器和存储资源。每个业务系统中的系统、应用等都部署在它的业务逻辑域中的虚拟机上，存储系统则要与其他业务域进行逻辑隔离。每个业务域之间通过防火墙进行隔离，逻辑域内的虚拟服务器之间通过软件负载均衡实现动态负载分配调度。
       在整个虚拟资源池（包括每个业务域的逻辑资源池）中，为了保证系统的安全性和连续性，都会预留一定的空闲资源。当整体平台或资源域中的物理服务器或存储节点出现问题，或需要进行必要的硬件升级时，空闲区域即可动态地承载原先资源下的业务系统和存储需要，保证业务的连续性，以及保证整体业务系统运行的稳定性和连续性。
       根据业务需求，各应用系统将迁移到虚拟机上，同时还需要预留扩展空间。根据虚拟化原理，最少要有一个物理内核来作为vCPU使用，所以虚拟机的最大数量=物理CPU数量×每个物理CPU的核心数（从可用性方面考虑，不考虑超卖情况），考虑到后续业务的扩展性，要在有限的空间内有尽可能多的虚拟机。同时，需要考虑数据中心的空间成本和电力成本。

      3.2.6　存储资源池设计

        存储系统是私有云数据存储的基础，用于支撑私有云上各应用对存储的需求。整个私有云对存储的需求具有以下特点：
        ◆   先进性原则：技术构成先进，符合信息科技的发展趋势，能适应在当前不同数据平台架构下进行大规模数据存储的需要，保证系统具有较强的开发、使用空间。
        ◆   均衡性原则：提供较好的系统运行效率，不产生系统瓶颈。
        ◆   节能性原则：绿色环保为营造良好的节能环境，以节能性原则为前提。
        ◆   拓展性原则：随着业务规模的扩大可方便地独立升级，能够比较方便地与其他系统进行无缝集成。
        ◆   稳定性原则：保证系统7×24小时的稳定运行，并能保证重启系统的稳定性。
        ◆   安全性原则：有严谨周密的安全体系结构，系统能够提供有效的安全机制，防御各种可能的自然毁坏或恶意攻击，在运行安全、网络安全、数据安全和应用系统安全等方面有合理可靠的策略。
       ◆   风险性原则：提供比较成熟可靠的运行管理、监控、故障处理等技术手段，最大限度地降低实施过程的风险。
       ◆   经济性原则：设备有较好的性能价格比。
       基于此，存储系统需要满足如下几个核心要求：
       1）足够的传输能力。网络中心为所有用户提供服务，由于客户端众多、数据流量大，所以整个系统需要很强的传输能力。包括存储系统与服务器之间的大容量、高频率的I/O传输，以及设备内部的总线传输带宽、服务器的网络性能和响应能力等都是非常重要的方面。
       2）海量存储能力。大容量的存储系统是网络中心服务应用的核心，拥有一套或多套大容量的存储系统是保证数据安全性和服务连续性的基础。解决方案中不仅需要存储系统具有超大容量，而且硬件的可靠性、容量的灵活扩展、简便的安装/维护管理也是必不可少的。
       3）先进的存储架构。存储系统所采用的架构需要是成熟而先进的，能适应未来几年内的技术发展方向。
       4）高稳定性和高可用性。解决方案应保证数据安全和随时可用；另外系统数据量大，很难恢复或恢复时间长，而业务又需要7×24小时不间断可用，因此还要为备份系统的建设打好基础。
       5）快速的售后服务响应能力。解决方案不仅要满足当前的需要，由于网络对连续性要求很高，因此在售后服务方面也应保证快速响应，一旦出现问题，服务人员能尽快赶到。
       另外，存储系统的设计还应遵循可扩展性原则及完整性原则。除了系统硬件要符合技术潮流外，与之相配的软件也须采用先进技术，以利于整个系统的平滑升级。而作为数据存储的统一平台，系统的各项设计应从整体考虑，协调各子系统以构成完整的数据存储管理系统。利用光纤通道技术，SAN可以有效地传输数据块。通过支持在存储和服务器之间传输海量数据块，SAN提供了数据备份的有效方式。因此，传统上用于数据备份的网络带宽可以节约下来用于其他应用。
       SAN是在服务器和存储设备之间传输大块数据而进行优化的，因此SAN对于以下应用来说是理想的选择：
       ◆   关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素。
       ◆   集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全。
       ◆   高可用性和故障切换环境，可以确保更低的成本、更高的应用水平。
       ◆   可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保可以动态扩展存储。
       另一方面，随着虚拟化成为基础架构主要的工作负载机制，数据中心原有的存储设计面临前所未有的挑战。
       第一个挑战是存储管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的环节之一。很多性能问题都与存储有关。虚拟化架构师需要了解底层存储设备及其特性，需要在IOPS、延迟和容量等各个方面进行优化。另外存储的分层、扩展和运维都有很多需要考虑的细节。在引入软件定义的存储之前，存储都是在项目开始阶段配置和部署的，在其生命周期中不再更改。如果要求更改虚拟机所利用的LUN或卷的某些方面或功能，则在许多情况下需要删除原始LUN或卷并创建具有所需功能的新卷。这是一项干扰性很强且非常耗时的操作，可能需要花费数周的时间来进行协调。
       第二个挑战是费用昂贵。采用外置磁盘阵列，将大幅提高整个虚拟化解决方案的成本。
       第三个挑战是无法确保差异化服务等级。由于数据存储选择LUN时并不考虑每个虚拟机的性能和可用性要求，因此难以在存储方面保证不同应用或者不同虚拟机的SLA。在每个卷中包含多个虚拟机文件系统的情况下，很难排除性能问题。
        虚拟化数据中心要求存储能够提供新的特征：
        ◆   提供虚拟机精确控制
        ◆   在应用高度整合的情况下满足性能要求
        ◆   数据会自动均衡，无须人工干预
        ◆   支持快速调配，零停机操作
        ◆   按需动态扩展
        ◆   支持VDI和大数据等新应用
        ◆   性能可以满足对关键应用的需求
       这些新特性是传统存储所不能满足的，因此软件定义的存储应运而生。它从前文提及的三个维度来解决虚拟化数据中心面临的问题和挑战：简化存储的管理、降低总拥有成本、实现端到端的SLA交付。
       软件定义的存储可对存储资源进行抽象化处理，以支持存储的池化、复制和按需分发。这使存储层与虚拟化计算层非常相似：都具有聚合、灵活、高效和弹性扩展的特点。它们的优势也如出一辙，即全面降低了基础架构的成本和复杂性。
       综合来看，软件定义的存储具备如下三个特征：
       ◆   以应用为中心的策略，可实现存储使用自动化
       软件定义的存储支持对异构存储池中的所有资源实施一致的策略，使对存储的使用像为每个应用或虚拟机指定容量、性能和可用性要求那样简单。这种基于策略的自动化最大限度地利用了底层存储资源，同时将管理开销降至最低。
       ◆   与硬件无关的虚拟化数据服务
       数据服务（如快照、克隆和复制）作为虚拟数据服务在软件中交付，并按虚拟机进行调配和管理。独立于底层存储硬件使得这些服务的分配极其敏捷和灵活。
       ◆   通过硬盘和固态磁盘虚拟化确保数据持久性
       随着服务器功能的增多，软件定义的存储解决方案可让企业利用廉价的行业标准计算硬件来扩大其存储资源。利用固态磁盘和硬盘作为虚拟机的共享存储，可获得高性能、内置的恢复能力和动态可扩展性，并将存储总体拥有成本降低50%之多。
       1.分布式存储资源池
       分布式存储资源池：由虚拟化计算资源池中的两路服务器提供本地硬盘，利用存储虚拟化软件构建分布式存储系统。为虚拟机提供块级存储服务。
       为了保证业务在私有云环境中分布式存储的数据的可靠性，所有虚拟机文件系统均采用3副本方式存储。
       2.存储资源池分级设计
       存储按照磁盘性能和可用性分为白金、金、银、铜四种级别。四种级别的存储资源的差异在于性能（IOPS、带宽等）及可用性（存储设备类型、磁盘RAID级别、存储级容灾能力等）不同。存储资源按性能和可用性进行分级供给。
       白金级存储资源池主要面向对存储有高I/O需求和高可用需求的生产系统应用。白金级存储资源由高端存储设备（具备多于4个控制器，具有存储复制软件等）提供，其磁盘全部由SSD磁盘构成，磁盘的RAID级别应采用RAID10或者RAID5以实现数据的冗余保护，同时使用存储复制软件进行本地或远程的存储级数据保护。建议核心生产系统的Oracle Database Redo Log及热表使用白金级存储。
       金级存储资源池主要面向对存储有较高I/O需求和高可用需求的生产系统应用。金级存储资源由高端存储设备（具备多于4个控制器，具有存储复制软件等）提供，其磁盘由SSD磁盘和SAS磁盘构成，SSD磁盘和SAS磁盘的配比不高于1∶10，采用自动热点数据迁移技术实现热点数据在SSD和SAS磁盘之间的迁移，同时使用存储复制软件进行本地或远程的存储级数据保护。建议核心生产系统的Oracle Database数据文件使用金级存储。
       存储资源池中金池采用热点数据动态迁移技术，设计要素如下（如图3-5所示）：

       ◆   存储层：第1层为SSD盘；第2层为SAS盘。
       ◆   热点迁移策略：将热点数据迁移到性能更高的SSD盘上；当检测到某数据块读/写频繁后，根据迁移算法自动迁移。
       银级存储资源池主要面向对存储有一定I/O需求的生产系统应用。银级存储可以由高端存储或中端存储设备（具备多于2个控制器）提供，其磁盘由SAS盘构成，磁盘可采用RAID 5、RAID6、RAIDDP等方式实现数据的冗余保护。建议生产系统的可执行程序、日志以及虚拟机系统、非核心数据库使用银级存储。
       铜级存储资源池面向对存储容量需求较大的生产系统应用。铜级存储可以由中端存储或者分布式存储设备提供，其磁盘由大容量SATA盘构成，磁盘可采用RAID6、RAIDDP、多副本等方式实现数据的冗余保护。建议备份系统使用铜级存储。
       另外通过引入分布式存储技术，还可构建低成本的块、对象、文件存储资源池，来承载备份和归档数据。