【云驻共创】与最年轻的云服务HCIE一起设计华为云存储架构（上篇）

举报
高级云网管 发表于 2022/07/19 16:58:33 2022/07/19
【摘要】 围绕数据上云的发展趋势，云上存储，云上备份以及云上加速访问进行华为云存储类服务架构设计！

前言

考证心得 | 从自学到成功拿下云服务IE -https://mp.weixin.qq.com/s/wKRS4jz_sIqMv-TMA_cTqw

一、数据存储概述

1.1 数据的发展历史与特点

过去30年，数据对人类生活的方方面面都发挥出了至关重要的作用：它改变了我们接受教育和享受娱乐的方式，它还告诉我们如何去体验繁荣的商业和更为广泛的世界。对于我们迅速发展的数字化存在而言，它可谓一条生命线。

数字化存在即我们地球在任何一年时间内创建、捕捉和复制的全部数据总和。显然，它的发展极为迅速，而我们将其称为“全球数据圈”(GlobalDatasphere)。

仅过去十年，我们的社会已经完成了从模拟到数字的转型。下一个十年，数据的力量必将给我们带来几乎无限的变化。

image.png

第一阶段(1980年以前)：

  • 在1980年以前，数据几乎全部驻留于专用的数据中心。即使人们通过远程终端访问数据，这些终端也是计算能力低下、甚至没有计算能力的非智能机。

  • 数据和处理能力仍然集中于大型主机。数据生成和使用的目的几乎完全是商用。

第二阶段(1980-2000年)：

  • 个人电脑的兴起和摩尔定律的威力使得数据和计算能力更加大众化。数据中心从简单的数据容器发展成为集中化的枢纽，可以通过缓慢但不断发展的网络来管理数据，并将数据分发至终端设备。

  • 这些设备现在能够存储和管理纯粹由个人使用的数据，同时出现了音乐、电影和游戏的数字娱乐产业。

第三阶段(2000年至今)：

  • 无线宽带和快速网络的普及推动数据进入云端，将数据与特定的物理设备脱钩，并开启了通过任意屏幕访问数据的时代。

  • 数据中心通过亚马逊、谷歌、微软等大众化服务扩展至云基础设施。

  • 随着手机、可穿戴设备、游戏机等新型设备的兴起，计算能力的分布化趋势不断发展。包括这些设备和传统PC在内的端点设备仍然需要数据进行操作，但是，通过云，可以轻易获取这些必要的数据，本地存储的需求因此日益减少。这些趋势不断提升着B2B、B2C和社交互动领域中计算的重要性，反过来也受到它们的推动。

1.2 全球数据量持续快速增长

随着数据变得对生活越来越重要、对企业越来越重要、更加实时化和更加移动化，管理和存储数据的实体必须开发出标准的方法，来提升可靠性、降低时延并提升安全性。

image.png

单位计算：

  • 1PB（Petabyte千万亿字节拍字节）=1024TB；
  • 1EB（Exabyte百亿亿字节艾字节）=1024PB；
  • 1ZB(Zettabyte十万亿亿字节泽字节)=1024EB；
  • 1YB(Yottabyte一亿亿亿字节尧字节)=1024ZB。

1.3 云上三大存储

image.png

image.png

1.3.1 产品概念

对象存储服务：

  • 提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。

云硬盘：

  • 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。

弹性文件服务：

  • 提供按需扩展的高性能文件存储，可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。

1.3.2 存储逻辑

对象存储服务：

  • 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。

云硬盘：

  • 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。

弹性文件服务：

  • 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。

1.3.3 访问方式

对象存储服务：

  • 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。

云硬盘：

  • 只能在ECS/BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。

弹性文件服务：

  • 在ECS/BMS中通过网络协议挂载使用，支持NFS和CIFS的网络协议。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。

1.3.4 使用场景

对象存储服务：

  • 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。

云硬盘：

  • 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。

弹性文件服务：

  • 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。

1.3.5 其它类比

image.png

二、云上数据存储

2.1 对象存储服务（OBS）

2.1.1 产品概述

对象存储服务（OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。

image.png

公有云对象存储进入3.0时代

image.png

OBS 3.0超智存储

image.png

2.1.2 功能特性

image.png
image.png

2.1.2.1 高效

极致性能，全面场景

image.png
image.png

2.1.2.2 稳定

Level5可靠性架构

image.png

金融级可靠性，故障率低于业界 50%；

16+ 年积累，始于2002年；

30+ 国际产业组织；

3000+ 研发工程师；

5大 研发中心。

可用性99.995%，持久性12个9

image.png

image.png

本地高可靠多活Multi-AZ

  • 双活性能与容量线性扩展，可扩展至单集群1000节点；

  • 高性能：单流2.4Gbps；

  • 高可靠：RPO=0，RTO≈0。

1000+公里跨Region复制

  • 应对地震、洪水、战争等极端场景下的数据保障；

  • 满足特定行业数据异地备份的合规性要求；

  • 高效性能：小对象秒级复制完成，大对象分钟级复制完成。

2.1.2.3 易用

全新的“文件语义”体系

image.png

image.png

对象存储网关，数据平滑上云

image.png

简单：

  • 支持NFS/SMB标准协议，无需修改应用；

  • 虚拟化模板部署，一键安装 ；

  • 可视化性能、状态监控，便于管理。

智能：

  • 基于策略，自动完成数据迁移上云；

  • 数据反相同步，云上/云下访问一致；

  • 本地访问稳定带宽，800MB/s。

安全：

  • 通过等保4级，国内云服务厂商最高；

  • 支持VPC网络隔离，访问权限可控；

  • 信道、传输、存储，3重加密。

全种类数据源迁移

image.png

image.png

1、华为云提供搬迁方案，帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS，首先在云上创建OBS桶。

image.png

2、迁移第三方云厂商对象数据至OBS

image.png

3、使用第三方备份软件实现本地数据备份至OBS

  • 通过爱数（AnyBackupCloud），英方（i2Move）等，都支持对接OBS进行数据备份，根据自身需求制定合适的备份策略，达到安全、高效的备份目的，数据量可大可小，不过费用产生会较大。

4、使用云存储网关（CSG），混合云存储服务

  • 通过云存储网关的方式，在本地部署网关，通过NFS协议将数据缓存到本地，再定期同步到华为云OBS存储，（上云后存储）通过CSG可实现数据无缝上下云。

5、选择华为云迁移专家服务

  • 在华为云上提交工单或联系人工客服，根据业务模型定制适合超大规模数据迁移的方案。

2.1.2.4 安全

全面的数据保护能力

image.png

image.png

2.1.3 典型场景

2.1.3.1 场景①企业备份/归档

多种方案的应用场景

  • 同步客户端： 单数据库/程序，手工备份，成本最低；

  • 备份软件： 多应用、多主机，自动备份，强兼容性；

  • 云存储网关： 无缝嵌入本地已有备份系统；

  • 离线数据上云： 海量数据归档，离线邮递上云。

image.png

2.1.3.2 场景②视频监控

单桶支持10亿摄像头链接；

单桶对象高达1000亿，容量高达EB级；

单路视频10S完成分析，单流300MB/S性能，GPU计算优化，效率提升50%。

image.png

按使用容量计费，无需考虑设备折旧，免运维，节省人力成本；

多部门共享视频联网资源、视频存储资源，视频分析应用资源；

分钟级资源发放，灵活部署业务。

2.1.3.3 场景③AI on OBS

极致的成本优势（大大优于友商本地盘和云硬盘成本）；

优异的性能表现（全面优于HDFS+云硬盘方案）；

POSIX文件语义接口，提升用户体验。

image.png

图片识别：

  • 确识别图片中的物体分类信息，比如动物识别、品牌Logo识别、车型识别等；

  • 提供丰富的图像分类/图像语义分割模型算法。

视频识别：

  • 准确分析视频中的关键信息，比如人脸识别、车辆特征识别等场景应用；

  • 提供丰富的视频检测/视频语义分析模型算法。

语音识别：

  • 让机器理解语音信号，协助处理语音信息，适用于智能客服问答、智能助手等；

  • 提供丰富的自然语言处理的模型。

2.1.3.4 场景④BigData on OBS

image.png

海量数据存储分析：

  • 典型场景：PB级的数据存储，批量数据分析，毫秒级的数据详单查询等。

历史数据明细查询：

  • 典型场景：流水审计，设备历史能耗分析，轨迹回放，车辆驾驶行为分析，精细化监控等。

海量行为日志分析：

  • 典型场景：学习习惯分析，运营日志分析，系统操作日志分析查询等。

公共事务分析统计：

  • 典型场景：犯罪追踪，关联案件查询，交通拥堵分析，景点热度统计等。

2.1.3.5 场景⑤医疗影像归档

image.png

无缝数据上云：

  • 本地PACS应用无需修改接口；

  • 存储网关统一管理，提供CIFS/NFS接口。

高可靠的海量存储空间：

  • 海量存储按需使用；

  • 云端数据跨100KM数据中心容灾，可靠性10个9；

  • 单桶文件对象数、容量无限制。

随时、随地阅片体验：

  • 影像三维重建、影像后端处理技术；

  • 结合BGP线路，保证阅片速度，随时移动阅片。

端到端安全隔离：

  • 数据、主机、网络全方位安全隔离；

  • 专线、VPN等安全接入；

  • OBS加密支持SSE-C/SSE-KMS；

  • 主机安全、Anti-DDos。

2.1.4 客户案例

2.1.4.1 案例1-中科天启时空theSky大数据平台

image.png

2.1.4.1.1 方案架构

image.png

2.1.4.1.2 客户痛点

时空数据是地球环境地物要素的数量、形状、纹理、空间分布特征，具有明显的空间，时间和非线性分布等特征（如遥感卫星图像分析场景）；

其数据量庞大，可靠的存储和便捷的分发是该类数据应用的核心问题；

需要依赖AI能力对数据进行分析和价值挖掘。

2.1.4.1.3 解决方案及优势

支持全面的大数据生态：

  • OBS通过OBSFileSystem对接HDFS，能够无缝支持各种主流大数据组件和服务；

极致的成本优势：

  • 弹性扩展，按需付费，且支持存储与计算分离，大幅降低存储成本；对于历史低频访问数据，使用归档存储成本更低。

优异的性能表现：

  • OBS支持单流2.4Gbps大带宽（是友商的3~5倍），支持任何地方URL访问，数据可以高速的上传下载和分发；

  • 单桶容量可从PB级到EB级，单桶超千亿对象；

  • 数据快递Teleport数据箱(60T/120T)可以用于迁移线下海量数据上云。

2.1.4.2 案例2-神州医疗医学影像解决方案

image.png

2.1.4.2.1 行业背景

医学影像数据占医院总数据量的80%，是医生临床诊断主要的参考依据。医学影像云助力集团型医院、地方政府、医联体建设影像资源共享和分级诊疗体系，并在此基础上实现CT、核磁、X光、超声等影像数据的存储、实现共享流转、远程会诊、分级诊断。

2.1.4.2.2 方案架构

image.png

2.1.4.2.3 面临挑战

国家规定医疗影像数据保存10年以上，医院存储设备建设运维投入大；

基层医院影像科人才缺乏，影像档案分析困难；

医疗服务供需不平衡，占总数0.84%的2、3级医院承担85%就诊业务；

上下级医院影像数据不互通，导致重复检查严重。

2.1.4.2.4 客户价值

云端资源解决医院影像数据海量存储需求，无需资源规划和系统扩容；

多种存储类型可选，降低存储成本；

医生随时随地阅片并进行诊断处理，实现医院间远程会诊、分级诊断；

云平台资源区域共享，即节约成本投入，又实现区域资源共享。

2.2 块存储服务（EVS）

2.2.1 产品概述

云硬盘（EVS）是一种为ECS、BMS等计算服务提供持久性块存储的服务，通过数据冗余和缓存加速等多项技术，提供高可用性和持久性，以及稳定的低时延性能。您可以对云硬盘做格式化、创建文件系统等操作，并对数据做持久化存储。

image.png

2.2.2 功能特性

image.png

2.2.2.1 规格-不同场景灵活配置

image.png

image.png

2.2.2.2 共享-多个云服务器同时访问

2.2.2.2.1 客户痛点

OracleRAC、SQLServer等企业数据库集群应用需要高性能的共享存储（RAC目前支持11g/12c版本）；

一般做法WSFC、VCS、RHCS等主机集群应用上云要做额外配置，性能SLA无法保证。

2.2.2.2.2 应用场景

共享云硬盘是一种支持多个云服务器并发读写访问的数据块级存储设备，具备多挂载点、高性能、高可靠、应用场景广泛等特点。

2.2.2.2.3 技术架构

image.png

主机集群应用：

  • 支持WSFC、RHCS、VCS、HACS等主机集群应用，满足用户高可用、负载均衡、可扩展性、节约成本等需求。

数据库集群应用：

  • 支持OracleRAC、SQLServer、DB2等企业数据库应用。配合裸金属服务（BMS），能够进一步满足关键数据库应用的高性能需求。

集群文件系统：

  • 支持分布式文件共享，比如Lustre、GPFS等集群文件系统，能够满足HPC高性能要求。

其它方法及问题：

  • 手工叠加分布式文件系统来支持。问题：性能差、SLA得不到保证；

  • 通过SMB/NFS来支持。问题：性能难以满足应用要求。

关键技术：

  • 无集中Target：全分布式共享云硬盘，性能线性增长；

  • 应用多节点并发读写：数据多并发读写免锁，缓存一致性；

  • 支持多种SCSI锁：支持持久/非持久SCSI预留锁。

2.2.2.2.4 关键优势

高性能：

  • 性能线性扩展，最大支持16主机；

  • 覆盖主流的数据库集群、主机集群应用及集群文件系统，让share-everything架构的应用无缝上云。

2.2.2.3 加密-XTS-AES-256加密

2.2.2.3.1 客户痛点

企业在云上保存生产、运营需要的信息与数据，可能涉及商业机密；

互联网企业保存了大量的用户数据，用户不希望敏感信息泄露；

HPC场景下，涉及工业制造参数、模拟结果、个人基因信息等机密；

国有、金融企业对数据安全有极为严苛的要求，必须要用行之有效的手段保护云上数据的安全性和私密性。

2.2.2.3.2 应用场景

EVS采用通用安全的加密算法，对用户的云硬盘、快照以及备份进行数据加密，且应用无感知，密钥由用户管理，便捷地保证数据安全性以及私密性。

2.2.2.3.3 技术架构

image.png

EVS卷加密：

  • EVS卷作为系统盘或数据盘挂载到云主机上，用户可在KMS上申请密钥，对卷上的数据进行加密，从而保护虚拟机的数据安全；

VBS卷备份加密：

  • 用户对加密卷创建备份，该备份默认是加密的，可确保卷备份在对象存储中的数据安全。

IMS镜像加密：

  • 用户对系统盘为加密卷的云主机创建镜像，该镜像默认是加密的，可确保镜像文件在对象存储中的数据安全。
2.2.2.3.4 关键优势

自助加密：

  • 租户通过KMS完全控制密钥，KMS使用第三方通过国密局以及FIPS140-2level3安全认证的SafeNet的HSM硬件安全模块生成并保护密钥

简单易用：

  • 鼠标点击几下即可创建加密云硬盘，且无需自行构建、维护密钥管理基础设施

应用透明：

  • 上层应用不感知，无需额外配置

2.2.2.4 扩容-系统盘和数据盘均支持扩容

2.2.2.4.1 客户痛点

原本的“停业务、卸卷、扩容、挂卷、启VM”流程十分漫长，并且会造成业务中断；

扩容后业务量上升，如果需要对应用性能调优，则会增加繁琐的额外工作量。

2.2.2.4.2 应用场景

用户可以随时扩展云硬盘容量而无需中断业务；原先5步操作现仅需1键，且扩容后性能线性增长，无需调优。

2.2.2.4.3 技术架构

image.png

业务起步：

  • 配合卷10GB小容量起配，用户可按需购买云硬盘，在业务增长时灵活扩容，不必担心资源闲置的浪费以及业务扩张后存储资源不够用，配置更加高效、灵活；

业务在线扩容：

  • 用户可以随时对卷进行扩容，不必关闭虚拟机，确保业务连续。比如金融、电商等行业，能够在业务不中断的情况下完成对业务的升级扩容，满足其对业务高连续性的要求。

扩容过程：

  • 用户从EVSConsole下发扩容命令，经由Cinder、FusionCompute下发到FusionStorage，底层卷完成扩容；此时上层虚拟机并没有感知到卷已经扩容，需要Cinder下发指令，经由Nova、FusionCompute通知到CNA，再由Hypervisor通知虚拟机刷新卷大小。

约束：

  • 当前EVS卷最大容量为32T。
2.2.2.4.4 关键优势

按需购买：

  • 10GB小容量起配（VSAli：20GB），最小1GB步长扩容；

在线扩容：

  • 业务无需中断，随时可扩容；

无需调优：

  • 扩容后性能线性增长，省去应用调优的工作

2.2.2.5 快照-数据容灾手段

2.2.2.5.1 客户痛点

部署业务环境、应对黑客攻击等场景，需要反复、快速地创建和使用备份，否则会导致流程过于缓慢、业务中断等问题；

高危操作前需要有手段先对数据备份，否则可能造成不可逆的损失；

快速以某个云硬盘为模板创建新云硬盘，支持多项业务。

2.2.2.5.2 应用场景

快照功能提供轻量快捷的基于时间点的数据备份和恢复，具有创建和恢复速度快(秒级)，占用空间少，备份过程磁盘IO和性能影响小，业务无需中断，可灵活配置备份策略等特点。

2.2.2.5.3 技术架构

image.png

创建快照时延KVM：6.53sXen：8.01s。

快照创建云盘时延KVM：6.53sXen：10s。

快照回滚时延KVM：5.44sXen：7.32s。

周期短的定期数据备份：许多业务如电商或游戏，需要定期（小时级）做数据备份，传统的备份需要中断业务且耗时久，另外备份数据占用大，成本高，采用快照功能可以很好的解决这些问题。

业务数据多方面应用：利用快照创建的多个卷可以同时为多种业务服务，例如，应用于数据挖掘、报表查询、开发测试等多种业务。这样既保护了源数据，又赋予了备份数据新的用途，满足企业对业务数据的多方面需求。

关键技术：

应用缓存数据一致性保证：

  • 通过代理通知应用悬挂IO，将缓存中的数据刷盘后，再打快照（需要存储提供代理，暂未实现）。

多挂载点一致性快照：

  • 悬挂多个挂载点的IO后，再打快照。

秒级快照和恢复：

  • 快照实现采用基于索引的ROW(Redirect-On-Write,写时重定向)机制,创建快照时刻和通过快照恢复都不涉及数据复制。
2.2.2.5.4 关键优势

秒级恢复：

  • 秒级创建/回滚，业务不中断，故障迅速恢复；

轻量备份：

  • 占用空间少，不影响磁盘性能。

2.2.2.6 QoS-智能IO管理

2.2.2.6.1 客户痛点

公有云上没有QoS机制的话，同一个资源池上的用户之间可能会发生严重的资源抢占问题；

客户希望存储池的IOPS和带宽资源能够合理分配给不同优先级的应用；

系统盘需要短时间有性能突发，以提高开机速度。

2.2.2.6.2 应用场景

QoS提供精细化控制IO的能力，保证公有云上应用的性能SLA，且为不同优先级的应用提供差异化的服务。Burst能力能在短时间内为小容量云硬盘提供高性能，满足性能突发需求。

2.2.2.6.3 功能说明

image.png

1500IOPS起步，性能随容量增大而递增，最高达33000；

小于290GB的云硬盘，可burst至16000IOPS，持续时间随着卷增大而延长；

大于290GB的云硬盘，性能超过16000IOPS基线，不需要burst能力。

QoS：企业应用性能SLA有保证、小容量云硬盘短时间内性能突发

应用分级：

对于不同优先级的应用，可以配置不同类型的云硬盘，通过QoS控制IOPS以及带宽资源的分配，以达到存储池资源利用率最大化，并且避免核心业务受到其它业务的影响；

虚拟机启动：
利用Burst能力，为小容量的系统卷提供短时间性能突发，显著缩短虚拟机的启动时间。

规格及约束：

  • QoS策略最大支持64万个；

  • 卷的QoS策略高于池的；

  • 不支持卷组/共享云硬盘；

  • 一个卷或池不能关联多个QoS；

  • 删除QoS前，需要先解关联卷或池；

  • 卷迁移后，QoS策略不会继承；

  • 快照不会继承原卷的QoS；

2.2.2.6.4 关键优势

Burst能力：

  • 为小容量卷提供短时间性能突发，针对虚拟机启动加速等场景。

2.2.2.7 专属分布式存储（DSS）-独享的物理存储资源

image.png

安全：

  • 用户独享物理存储资源，有效避免用户资源相互影响，支持数据加密等功能，更好地保障用户数据的安全。

可靠：

  • 提供数据多副本机制，数据持久性高达99.99999%，保障数据安全可靠。

灵活：

  • 可任意对接非专属云中的ECS、BMS以及专属云（DeC）服务，用户可灵活配置专属存储资源。

省心：

  • 用户无需构建庞大的专业运维团队，轻松管理专属存储资源。

功能丰富：

  • 专属存储与EVS所提供的服务功能保持一至(加密、备份、快照…)。

2.3.3 典型场景

2.3.3.1 场景①BMS+EVS For Oracle上云

2.3.3.1.1 应用场景和解决方案

image.png

2.3.3.1.2 客户痛点

要在云上运行OracleRAC，需要共享云硬盘支持；

要满足Oracle的技术服务条款，OracleRAC需要部署在资源专享、网络隔离、性能有保障的物理服务器上。

2.3.3.1.3 关键优势

共享云硬盘：

  • 覆盖主流集群应用(如OracleRAC11g/12c)，最大16主机；

功能丰富：

  • 支持加密、备份、快照等特性，满足各类需求。

华为独家：

  • 其他友商均不支持裸机挂载云硬盘；

快速发放：

  • 基于SDI实现自动化部署，5分钟完成发放。

BMS：

  • 快速发放：基于SDI实现自动化部署，5分钟完成发放；

  • 应用场景：支持OracleRAC、SAPHANA等关键数据库；

  • 混合组网：支持与ECS混合组网、支持VPC、支持弹性IP；

  • 自服务：创建、删除、启动、关机、重启等。

EVS：

  • 无盘启动：支持BMS使用EVS作为系统盘，系统盘持久度从99.9%提升到99.99999%；

  • 规格高：单BMS主机最大可挂载40个卷；

  • 性能好：单BMS主机性能可达20万IOPS；

  • 共享云硬盘：多台主机同时绑定一个卷，支持集群应用部署，最大支持16台主机同时挂载；

  • 功能丰富：同时支持快照、备份、QoS、加密等高级功能，保障数据高可用和安全。

2.3.3.2 场景②HPC on EVS

2.3.3.2.1 应用场景和解决方案

image.png

2.3.3.2.2 客户痛点

需要高吞吐、高读写速率、低时延的存储支撑HPC应用；

Lustre等并行文件系统需要共享存储，用户需要使用分布式文件系统支撑高性能计算应用部署。

2.3.3.2.3 关键优势

高性能：

  • 33000IOPS@350MB/s最大吞吐量@1ms时延；

共享云硬盘：

  • 支持Lustre、GPFS等并行文件系统的部署。

2.2.4 客户案例

2.2.4.1 案例3-某汽车制造公司云存储方案

2.2.4.1.1 方案架构

image.png

2.2.4.1.2 解决方案

虚拟机集群：

  • 运行开发测试、OA办公、数据库业务；

裸机集群：

  • 运行企业关键数据库（OracleRAC11g/12c）；

使用服务：

  • EVS、DSS专属存储、云硬盘加密。

2.3 文件存储服务（SFS）

2.3.1 产品概述

弹性文件服务（SFS）提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（ECS），容器（CCE & CCI）、裸金属服务器（BMS）提供共享访问。

image.png

2.3.2 功能特性

  • SFS面向HPC、媒资场景，提供大容量、高带宽的文件服务；
  • SFS Turbo面向网站、代码库场景，提供高IOPS、低时延的文件服务。

image.png

主流协议支持：

  • NFS V3（SFS & SFS Turbo）

  • SMB 2.0/2.1/3.0（SFS）

高性能：

  • 最大带宽 20GB/s （SFS）

  • 最高IOPS 30K （SFS Turbo）

大容量：

  • 最大容量 4PB （SFS）

  • 支持弹性扩展，无需扩容 （SFS）

安全稳定：

  • 支持VPC（虚拟私有云）隔离数据（SFS & SFS Turbo）

2.3.2.1 SFS优势

image.png

支持主流文件协议：

  • 支持NFSv3主流协议，保持您在常用操作系统环境中的文件访问习惯，实现应用无缝集成。

容量按需分配，弹性伸缩：

  • 用户可以根据业务需要配置文件系统初始存储容量，文件存储会随着业务的增长而扩容，此过程不影响业务应用。

线性扩展的性能：

  • 文件系统的总带宽可随容量扩展而增长，适合高带宽型应用。

2.3.2.2 SFS Turbo优势

image.png

灵活对接：

  • 同时支持与ECS、CCE、BMS对接。

高性能：

  • 时延1~2ms，IOPS最高30K。

功能丰富：

  • 支持标准NFS协议、文件数据加密、备份与恢复。

2.3.3 典型场景

2.3.3.1 场景①HPC大文件存储

image.png

2.3.3.1.1 应用场景

HPC计算集群通过AutoScaling进行扩展业务客户端向HPC计算集群提交待处理任务计算集群从SFS文件服务中读取数据，写入中间过程产生的临时数据。

2.3.3.1.2 服务优势

文件接口兼容：

  • 无缝对接POSIX文件接口。

高性能：

  • 提供最高达20GB/s读带宽能力。

2.3.3.2 场景②媒体编辑处理

image.png

2.3.3.2.2 应用场景

视频粗编/快编VM读取SFS文件系统中的原始视频，进行编辑操作，将编辑索引信息写入RDS。合成VM从RDS中读取编辑索引信息，从SFS文件系统中读取原始视频，完成合成后将成品视频写入SFS文件系统中。

2.3.3.2.2 服务优势

高性能：

  • 提供最高达20GB/s读带宽能力。

大容量：

  • 支持文件系统容量最高达4PB。

2.3.3.3 场景③高性能网站日志/文件存储

image.png

2.3.3.3.1 应用场景

文件服务可用于各种企业OA应用，为网站、在线发行、存档等各种应用存储数据及提供信息。

2.3.3.3.2 服务优势

高性能：

  • 最高30KIOPS，时延1~3ms，满足小文件读写要求。

高可靠性：

  • 支持文件系统备份/恢复，满足可靠性要求。

2.3.4 客户案例

2.3.4.1 案例3-湖南卫视云编平台

image.png

“多年来，我们先后与华为进行了合作，建立了私有云、混合云、公有云。华为公有云文件服务的使用，让我们不再去担心底层复杂的存储系统，减少了运维成本，大幅降低了TCO。通过各个栏目团队之间相互竞争、相互协作，保证了品牌栏目持续创新。”-- 湖南卫视XXX主管】

2.3.4.1.1 方案架构

image.png

2.3.4.1.2 解决方案

采用云服务模式进行网络化栏目粗编时，单文件服务提供不低于12MBps/TB的传输带宽，为湖南卫视使用索贝平台的近50台工作站提供近30GB/s的公有云存储带宽。

华为公有云文件服务后端采用了业界领先的分布式存储技术，并提供专为媒体行业应用打造加速特性，通过智能缓存、多通道访问、磁盘布局优化等技术，充分提升文件存储服务读写能力，满足多客户端并发快速编辑要求。

2.3.4.2 案例4-贝瑞和康POC测试平台

image.png

2.3.4.2.1 方案架构

image.png

2.3.4.2.2 关键需求

数据量巨大：

  • 一个芯片测试96个样本，数据最大达到1.6T；

计算资源消耗大：

  • 100个人的基因信息计算，需约3000核1T内存的HPC节点；需一周算完；

数据安全要求高：

  • 基因数据属于个人隐私，泄露后会面临严重的法律风险。
2.3.4.2.3 解决方案

高规格：

  • C3高性能规格64c256G；

存储性能高：

  • SFS性能良好，满足生产需求；

数据快递(传送立方)：

  • 满足海量数据离线上云；

FPGA解决方案：

  • 满足客户对效率和精度的要求；

数据安全合规。

2.3.4.3 案例5-华为云DevCloud文件存储

image.png

2.3.4.3.1 方案架构

研发工具以主流开源工具为主。

image.png

2.3.4.3.2 关键需求

文件数量多，以小文件为主，属典型IO密集/时延敏感型应用场景；

支持租户间QOS保障，支持在线灰度升级；

要求服务的高可用性和数据的高可靠性；

单文件系统容量要求不高（几十TB级别）。

2.3.4.3.3 解决方案

支持ms级时延，满足小文件读写诉求；

支持租户间QOS保障，租户间使用互不影响；

支持数据备份/恢复，满足可靠性要求；

SFSTurbo单文件系统容量最大32TB，满足软开场景。

三、云上数据备份

3.1 Why？备份

数据是企业的生命线，威胁数据安全的风险无处不在,法规遵循也对数据保护提出要求。

image.png

image.png

image.png

3.2 How？云备份（CBR）

3.2.1 产品概述

云备份（CBR）为云内的云服务器、裸金属服务器、云硬盘、云下VMware虚拟化环境，提供简单易用的备份服务，针对病毒入侵、人为误删除、软硬件故障等场景，可将数据恢复到任意备份点。

image.png

3.2.2 业务场景

云内备份：

针对云内部署的企业关键应用如ERP、CRM、文档服务器等，提供应用一致性备份；同时支持备份跨Region复制，满足大企业、金融、医疗等行业的异地备份需求；

混合云备份：

采用公有云作为异地灾备站点，把云下数据中心的VMware虚拟机备份上云，支持云下恢复和云上灾难恢复；

业务迁移&批量部署：

通过整机备份创建镜像，发放云服务器，可以快速复制相同配置的云服务器，发放时间可缩短到分钟级；支持跨Region复制后，在异地发放，满足业务迁移需求。

3.2.2.1 场景①云内备份

3.2.2.1.1 方案架构

image.png

3.2.2.1.2 场景描述

企业关键应用，ERP、CRM、邮箱服务器、文档服务器等，需要进行定期备份，针对人为误操作、软件升级失败、病毒入侵等场景，通过备份恢复数据，保证数据不丢；上市公司还必须在异地保留备份副本，在区域性网络故障或者自然灾害发生时，可以在异地恢复。

3.2.2.1.3 用户痛点

需要自动化在线备份，备份不影响业务；

ERP、CRM等涉及数据库的业务系统需要保证备份一致性；

上市公司、金融行业根据法规要求要保留异地备份，自建成本高。

3.2.2.2 场景②混合云备份

3.2.2.2.1 方案架构

image.png

3.2.2.2.2 场景描述

按照法规要求，上市公司/政府部门/金融机构都必须构建异地灾备系统，用户选择公有云作为异地灾备站点，将线下的VMware虚拟机备份上公有云，本地出现人为误操作、软件升级失败、病毒入侵等场景，可以进行本地恢复；如果区域性网络故障或者自然灾害，可以在云上恢复用户数据。

3.2.2.2.3 用户痛点

自建灾备中心，初始投资高、建设周期慢；

传统备份软件，大部分不支持云上恢复为云服务器；

ERP、CRM等涉及数据库的业务系统需要保证备份一致性。

3.2.2.3 场景③业务迁移&批量部署

3.2.2.3.1 方案架构

image.png

3.2.2.3.2 场景描述

针对在公有云上提供软件服务的ISV，需要为不同租户部署相同硬件规格和软件配置的云服务器，需要投入大量人力支持交付。从线下数据中心搬迁上云，或者在云内不同Region迁移业务的用户。

3.2.2.3.3 关键特性

云服务器整机备份创建整机镜像；

备份跨租户共享；

备份跨Region复制。

3.2.3 备份&恢复关键特性

image.png

3.2.4 关键备份技术

3.2.4.1 技术①永久增量备份

首次备份为全量备份，备份硬盘已用的数据块；后续备份为增量备份，备份上次备份之后变化的数据块；

每个备份点都是一个虚拟的全备，多次备份间有依赖关系的数据块以指针索引的方式引用；

删除某个备份数据（手工删除或者自动过期）时，仅删除它没有被其他备份数据所依赖的数据块。

image.png

3.2.4.2 技术②存储快照无代理备份（崩溃一致性）

支持在线备份，不需要停止业务系统；

通过存储快照实现备份，无需在云服务器上安装代理，消除备份代理对业务系统影响；

基于多个云硬盘的一致性快照技术，实现云服务器的崩溃一致性备份（云服务器内的多个云硬盘的备份为同一时间点创建的；但备份前未冻结应用和文件系统，不备份内存数据）。

image.png

3.2.4.3 技术③数据库服务器备份（应用一致性）

CBR应用一致性备份：

  • 定义：

以VM为备份对象，保证备份期间正在运行的应用程序能完成所有操作（如数据库事务）并将缓存中的数据刷新到磁盘中。

  • 应用场景：

备份部署了应用或者数据库的虚拟机。

备份软件应用备份：

  • 定义：

备份的对象是针对某个具体的应用，比如数据库（Oracle、DB2、Sybase）、HAPHANA、Exchange邮箱等。

  • 应用场景：

需要对数据库进行单表空间备份或者文件级备份的场景。

CBR崩溃一致性备份：

  • 定义：

以VM为备份对象，保证云服务器下多个云硬盘的备份数据是同一时间点产生的，但是备份时不冻结应用、不备份内存数据。

  • 应用场景：

备份没有部署应用或者数据库的虚拟机，比如文件服务器、云桌面等。

image.png

3.2.4.4 技术④VMware块级增量备份/增量恢复

  • 变更数据块跟踪(CBT)原理：

    • 基于VMwareVADP接口的块级永久增量备份；

    • 跟踪对虚拟机所做的更改，仅备份变更的数据块；

    • 可将CBT用于恢复，仅恢复变更的数据块。

image.png

使用CBT技术

  • 备份时间短： 只发送变更数据，从而降低对备份带宽的要求，缩短备份时间窗口；

  • 恢复时间短： 恢复到原虚拟机时，仅恢复自目标备份点以来发生变更的数据块，显著减少恢复时间。

3.2.5客户案例

3.2.5.1 案例6-F客户ERP系统备份

image.png

3.2.5.1.1 客户概述

F客户是一家ERP软件提供商，将用户的ERP系统部署在华为云上，为用户提供ERP系统。

3.2.5.1.2 场景描述

ERP系统存储了用户的核心业务数据，需要进行数据备份；

由于每个最终用户的ERP系统都需要F客户的交付工程师手工部署后交付使用，投入数十人进行交付。

3.2.5.1.3 用户价值

为部署了ERP系统的云主机创建自动备份，发生误删除、中病毒等事件时进行快速恢复，RTO可达分钟级；

为部署好ERP系统的云主机创建备份，通过备份创建镜像，将镜像共享给其他用户发放部署好ERP系统的云主机，将单用户部署周期从半天缩短到30分钟，减少80%交付人力。

3.2.5.2 案例7-S客户专属云备份

image.png

3.2.5.2.1 客户概述

S客户主要经营各类财产保险业务，其业务系统部署在华为云的DeC专属云中。

3.2.5.2.2 场景描述

针对部署SAP应用的核心业务系统需要进行数据备份；

满足保监会要求，数据需要异地备份，需要支持按周、按月、按年保留多种不同备份周期的备份数据。

3.2.5.2.3 用户价值

为DeC中部署了SAP系统的云主机创建自动备份，发生误删除、中病毒等事件时进行快速恢复，RTO可达分钟级；

基于策略将备份数据自动复制到异地Region，可在异地恢复；支持按周、月、年设置不同的备份数据保留策略，备份/复制策略配置简单，满足法规对数据备份的要求。

【云驻共创】与最年轻的云服务HCIE一起设计华为云存储架构（下篇）

总结

af2488bdf3e11a904a0e18e94a3807f.jpg

通过此篇文章，我们可以了解到企业数据上云趋势；华为公有云的三大数据存储的多维度对比，产品概述，功能特性，典型场景以及客户案例等；数据上云后的备份&恢复有哪些场景和关键备份技术；数据在云上如何进行访问加速，可以透彻的学习华为云CDN的产品优势及关键技术。

基于华为云强大的存储容灾服务（SDRS） 实现跨可用区RPO=0的虚拟机级一键式容灾，以此实现华为云低成本的容灾方案。

在最后通过两个典型的架构方案（同城容灾及两地三中心）来清晰学习华为云各存储服务在满足该架构方案及其它架构时如何进行架构设计。

5299d6c40d1adec9a02a9bc51d6d5cb.jpg

本文参与华为云社区【内容共创】活动第18期。
https://bbs.huaweicloud.com/blogs/364560
任务28：华为云存储架构设计

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
上云必读 云硬盘 EVS 云存储 对象存储服务 OBS
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入