【云驻共创】与最年轻的云服务HCIE一起设计华为云存储架构(下篇)

举报
高级云网管 发表于 2022/07/19 16:59:47 2022/07/19
【摘要】 围绕数据上云的发展趋势,云上存储,云上备份以及云上加速访问进行华为云存储类服务架构设计!

前言


考证心得 | 从自学到成功拿下云服务IE -https://mp.weixin.qq.com/s/wKRS4jz_sIqMv-TMA_cTqw


四、云上数据加速


4.1 内容分发网络(CDN)

4.1.1 客户痛点

image.png

4.1.2 产品概述

内容分发网络(CDN)是构建在现有互联网基础之上的一层智能虚拟网络,通过在网络各处部署节点服务器,实现将源站内容分发至所有CDN节点,使用户可以就近获得所需的内容;

CDN服务缩短了用户查看内容的访问延迟,提高了用户访问网站的响应速度与网站的可用性,解决了网络带宽小、用户访问量大、网点分布不均等问题。

4.1.3 加速原理

image.png

HTTP请求流程说明:

  1. 用户在浏览器输入要访问的网站域名 www.1234qwer.com,向本地DNS发起域名解析请求;

  2. 本地DNS检查缓存中是否有www.1234qwer.com的IP地址记录。如果有,则直接返回给终端用户;如果没有,则向网站授权DNS查询;

  3. 网站DNS服务器解析发现域名已经解析到了CNAME:www.1234qwer.com.c.cdnhwc1.com

  4. 请求被指向CDN服务;

  5. CDN对域名进行智能解析,将响应速度最快的CDN节点IP地址返回给本地DNS;

  6. 用户获取响应速度最快的CDN节点IP地址(北京最近,上海以及广州距离远);

  7. 浏览器在得到最佳节点的IP地址以后,向CDN节点发出访问请求;

  • 如果该IP地址对应的节点已缓存该资源,节点将数据直接返回给用户,如图中步骤7和8,请求结束

  • 如果该IP地址对应的节点未缓存该资源,节点回源拉取资源。获取资源后,结合用户自定义配置的缓存策略,将资源缓存至节点,如图中的北京节点,并返回给用户,请求结束。

4.1.4 产品优势(华为云CDN)

image.png

与主导运营商合营的海量节点,国内加速节点2000+海外加速节点800+,海量带宽储备,带宽扩容无瓶颈。节点带宽储备能力≥50Tbps。涵盖了电信、联通、移动、教育网等主流运营商,以及多家中小型运营商。保证将用户请求精准调度至最优边缘节点,提供了有效且稳定的加速效果。

4.1.5 关键技术

4.1.5.1 技术①智能调度

就近访问:

  • 动态选择最佳服务节点,根据不同的用户接入方式动态选择运营商节点;

故障切换:

  • 智能判断故障并自动切换;多点覆盖,使用多个节点同时为相同区域用户进行服务保障;

动静分离:

  • 边缘节点进行动静态内容分离,静态内容边缘节点缓存,动态内容智能加速。

image.png

4.1.5.2 技术②智能路由

智能路由:

  • 智能探测互联网路由,结合人工智能算法获取最快访问线路,流量精确导航、避开拥塞、平滑跨网;

私有协议优化:

  • 解决传统协议在数据传输上存在的缺陷,提高传输效率,大幅度减少传输时间,实际测试常规动态文件提升比例为30%~130%。

image.png

4.1.5.3 技术③链路复用

  • 节点间TCP连接复用,边缘节点提供缓存内容,有效降低源站服务压力;

  • 有效应对活动突发访问、减轻源站带宽和服务器负载压力。

image.png

4.1.5.4 技术④图片智能适配

  • 图片尺寸智能适配、图片质量智能适配;

  • 判断网络情况,智能调整压缩比,实时转换图片;

  • 减少回源次数,减轻源站压力,加快访问速度,减少50~90%回源流量。

image.png

4.1.5.5 技术⑤预热与刷新

预热:

  • 节点先主动缓存静态内容,不用等用户访问再去回源站下线,减少源站压力,预热可以进行多种控制,保证回源带宽和流量不超过源站的承载能力,需要知道具体的URL进行预热;

刷新:

  • 当源站的文件发生变更(文件名没变),通过刷新功能可以把节点缓存的旧文件设为过期(不能被访问),然后系统自动删除旧文件或者新文件覆盖旧文件,可以提交具体URL刷新,也可以提交目录刷新。

image.png

4.1.6 缓存规则(华为云CDN)

1、网站静态加速产品: 用户自己配置

  • 静态加速缓存规则

zip、exe、wmv、swf、gif、png、bmp、rar、jpeg、jpg、css、flv、mp4、txt、ico静态文件缓存12-24个小时;

mp3,wma缓存一天;

aspx、jsp、php、do、asp、dwr、cgi、fcgi、action、ashx、axd、json文件不缓存;

静态html、htm、shtmljs文件缓存12个小时。

不符合以上四件条件的文件一律12~24小时;

以上有缓存的文件如果有带问号,则缓存10分钟。

2、动静态加速产品(全站加速): 华为云后台配置

  • 动静态加速默认缓存规则

exe、wmv、mp3、wma、ogg、swf、flv、mp4、avi、mpg、mpeg、f4v、rmvb、rm、3gp、img、cur、gif、png、jpe、ico、bmp、jpeg、jpg、rpm、tar、gz、bin、bz2、zip、rar、apk、jar、sis、xap、msi、cab、7z、pdf、doc、xlsx、ppt、txt、css以上类型的文件缓存12-24个小时;

在第1点中缓存的文件如果有带?则缓存10分钟;

html、htm、js结尾的缓存12小时;若文件如果文件中带了问号?则不缓存;

不符合以上规则的文件都不缓存。

4.1.7 客户案例

4.1.7.1 案例8-芒果TV

image.png

4.1.7.1.1 客户介绍

芒果TV是湖南广播电视台旗下唯一互联网视频平台,独家提供湖南卫视所有栏目高清视频直播点播,并为用户提供各类热门电影、电视剧、综艺、动漫、音乐、娱乐等内容,是国内高品质在线视频媒体平台,由湖南快乐阳光互动娱乐传媒有限公司(简称“快乐阳光”)负责具体运营。

4.1.7.1.2 客户背景

芒果TV在PC、移动端、OTT端发展视频点播业务,注册用户量过亿,遍布全国各地;

用户众多,且常有热播剧上映导致突发,集中式访问,源站带宽有限,造成巨大的访问压力,进而导致用户观看热播剧的时候视频的耗时长,体验差;

电影、热播剧的视频文件较大,在传输链路中,网络链路抖动、跨网传输造成用户观看卡顿等情况出现。

4.1.7.1.3 加速业务

视频点播加速,将芒果热点的点播视频文件进行文件预取,提前将热门点播文件进行缓存,避免回源等待时间,同时降低源站压力。

4.1.7.1.4 加速方案

芒果热播剧上线时,利用与主导运营商合营的优势为客户储备了充足的带宽资源,带宽储备大于3T,同时不断进行资源巡检;

与多家CDN厂商进行质量PK,根据终端上报数据,对视频业务在各终端下的卡顿率、错误率进行统计,华为云CDN保障卡顿比均值<3.0%,错误率均值<0.6%,整体质量排名靠前,最终获得较大量的商用;

利用华为云CDN技术优势,为客户提供定制化配置:定制防盗链、定制访问控制、定制日志统计等;

华为云CDN全程7*24团队实时监控加速质量情况,遇到个别质量欠佳的地区,进行调整优化,提高业务服务质量。

4.1.7.2 案例9-沪江教育

image.png

4.1.7.2.1 客户介绍

沪江是教育科技公司,诞生于2001年,通过经营综合性互联网教育平台,向广大用户提供覆盖种类多元化、具备高度互动特质的优秀互联网教育产品及服务,如沪江网、沪江网校、Cctalk、沪江社区、沪江开心词场等。

4.1.7.2.2 客户背景

用户众多,目前用户数达1.7亿,对源站性能要求高,用户访问官网体验较差;

大量课件、学习视频等内容,数据量大,用户分布广、受网络性能影响,下载时间长,速度慢,影响用户学习体验;

沪江网用户分布全球、主要加速内容为教学图片的全球分发和课程课件下载,长距离跨国跨网访问用户体验差,客户对全球资源特别东南亚地区较为关注。

4.1.7.2.3 加速业务

网站加速:

  • 通过对官网进行加速,优化平台访问能力,提高用户的体验;

下载加速:

  • 通过对课件、学习视频(点播)、图片等进行加速,提高用户的下载速率,进而提高用户的学习体验;

海外加速:

  • 利用华为云CDN海外节点资源进行覆盖,提高美国、东南亚等地区用户的体验。
4.7.1.2.4 加速方案

高质量的CDN服务,可用性高达99.95%,保障官网整体页面访问以及下载速率;

华为云CDN丰富优质的海外节点资源覆盖,为客户提供高效的海外加速保障;

客户域名数量高达100+,华为云CDN为客户定制统一批量调度的域名,发生故障时修改一次解析即可。


五、存储容灾架构设计


5.1 存储容灾服务(SDRS)

5.1.1 产品概述

存储容灾服务(SDRS)提供跨可用区RPO=0的虚拟机级容灾保护,可大幅降低企业容灾TCO,简化容灾流程。当生产站点故障时,用户可在容灾站点迅速恢复业务,极大缩短业务中断时间,减少损失。

image.png

特性:

  • 云上跨数据中心的业务容灾;
  • 满足三级及以上等保中数据异地实时备份要求;
  • 故障下,快速将业务切换至容灾端。

5.1.2 工作原理

基于HyperMetro(数据中心免网关双活方案)实现的RPO=0同步复制容灾

灵活部署:

  • 可基于业务策略按需配置虚拟机保护实例;
  • 可将同一业务的虚拟机成组进行保护;同时支持专属云以及非专属云场景。

按需演练:

  • SDRS服务支持在线的、低成本容灾演练,演练过程中业务无感知。

便捷恢复:

  • 提供一键故障迁移能力将业务迁移到容灾站点,手动开启虚拟机后即可配置业务。

image.png

HyperMetro容灾双写流程:

  1. 主机下发IO到本地磁盘,并发送到HyperMetro复制网关集群;

  2. HyperMetro集群记录Log后,将数据发送到容灾端;

  3. 容灾端复制集群将数据写入Cache;

  4. 容灾端向上返写入成功;

  5. 容灾端向生产端返写入成功,转而向上层主机返写入成功;

  6. 判断容灾端写是否成功:

  • 如果写成功,则删除Log。

  • 如果写失败,则Log转换为DCL并记录生产站点与容灾站点差异数据。

数据变化记录到数据变更日志,待阵列修复好后,HyperMetro将自动恢复双活Pair关系,并通过DCL记录的信息(记录本端LUN和远端LUN的差异数据),将数据增量写入修复好的存储。这样的好处是无需全量同步所有数据,整个过程对主机“透明”,不会影响主机业务。

5.2 华为云低成本容灾方案

5.2.1 方案目标

低成本容灾,同时支持专属云和非专属云场景。

image.png

5.2.2 方案特点

支持多个虚拟机同时保护;容灾端处于关机状态计算资源不收取费用

说明:由于是DCC自身约束,生产AZ是DCC下,容灾AZ也必须是DCC。

image.png

5.2.2.1 一键式容灾切换

image.png

支持多虚拟机同时切换,切换后ECS的网卡(IP、MAC、EIP)支持迁移,从而在切换后无需改造ECS网络,快速恢复业务;

切换后容灾端AZ2作为生产站点,ECS可手动开机,原生产站点AZ1ECS关机。

5.2.2.2 在线容灾演练

image.png

SDRS容灾演练特点:

  • 无需中断业务;
  • 无需中断保护;
  • 按需随时演练;
  • 可通过演练恢复数据;
  • 演练所创虚机IP与生产站点一致(不同VPC中)。

5.2.2.3 三步容灾部署

image.png

image.png

三步即可完成容灾部署:

  • Step1:创建保护组即创建容灾业务组;
  • Step2:创建保护实例即选定和配置要容灾的云主机;
  • Step3:开启容灾保护即开始数据同步。

5.3 华为云同城容灾方案

5.3.1 方案目标

跨AZ容灾RPO=0,RTO<30分钟;

平时容灾中心计算资源不启动有效降低容灾成本;

提供一键容灾切换与演练功能。大大降低容灾管理难度。

image.png

5.3.2 方案特点

用户访问流量:

  • 通过智能DNS服务进行业务访问流量的控制,正常时用户流量100%引流至生产中心,灾难时期用户流量100%切换至容灾中心;

Web/APPServer数据同步:

  • Web服务、应用服务服务器通过SDRS存储同步复制服务实现同步;

数据库同步:

  • 云上使用RDS数据库服务,进行跨AZ主备部署,跨AZ间数据同步;

容灾恢复切换:

  • 当生产中心发生故障时。RDS数据库自动切换至备库,应用层通过SDRS的一键容灾切换功能切换至容灾节点。并通过智能DNS服务将用户流量全部切换至容灾节点;

  • 通过SDRS提供的容灾演练功能进行一键演练。

5.4 华为云两地三中心容灾方案

5.4.1 方案目标

提供最高程度的业务连续性和数据可用性,在发生超大规模地域级自然灾害的时候都能保护数据和业务;

RPO时间取决于数据库复制间隔,RTO分钟级。

image.png

5.4.2 方案特点

  1. 生产数据中心和容灾中心分别部署在华为云2个不同Region;
  2. 生产中心采用双AZ部署,同城双AZ。容灾中心单AZ;
  3. 在生产和容灾中心分别部署RDS数据库实例,数据库同城跨AZ使用RDS主备模式,跨Region使用DRS服务实现RDS数据库复制;
  4. 生产和容灾中心产生的应用配置、日志、备份等,通过CSBS实现跨区复制;
  5. 生产站点某个AZ故障时,通过SDRS将应用切换到另一个AZ,数据库主备切换;
  6. Region1故障时,切换数据库的主备状态,然后将DNS授权修改为生产站点0%,容灾站点为100%;
  7. 生产Region1修复后,数据库切换回主库,DNS切换回主站。

5.5 客户案例

5.5.1 案例10 - 某互联网金融容灾方案

5.5.1.1 业务架构

image.png

5.5.1.2 客户背景

  • 新成立的互联网小额信贷业务,隶属金融行业范畴;
  • 金融行业对资源隔离有要求,已于2018年在华为专属云部署相关业务,部署形态为专属计算集群服务(DCC)+专属分布式存储服务(DSS)。

5.5.1.3 客户诉求

  • 计算存储隔离、满足合规性要求;
  • 对云上重要业务进行容灾,要求RPO=0,能够在主站点故障后,快速将业务切换到容灾站点;
  • 支持容灾演练用以验证容灾的能力,降低容灾TCO。

5.5.1.4 解决方案

  • 安全合规: 采用专属云方案(计算:DCC,存储:DSS)满足资源独享、隔离和合规性要求。
  • 业务连续性保证: 采用SDRS服务(存储层同步复制保证RPO=0)提供云上跨AZ容灾能力。
  • 随时容灾演练: 利用SDRS服务提供的在线容灾演练能力,客户可随时进行业务容灾仿真演练,检验系统稳定性。
  • 降TCO: 采用SDRS服务容灾,无需额外支付第三方复制软件费用,节省成本

5.5.2 案例11 - 法国某水务集团云化转型

5.5.2.1 业务架构

image.png

5.5.2.2 客户背景

  • IT主机的合同到期,成本高昂;
  • 复杂落后的IT架构带来极高的运维成本。

5.5.2.3 客户诉求

  • 稳定安全可扩展的IaaS平台;
  • 对云上业务进行容灾,要求RPO=0RTO<4小时,能够在主站点故障后,快速将业务切换到容灾站点;
  • 对各个应用和数据做自定义策略的备份,降低TCO。

5.5.2.4 解决方案

  • 采用法电公有云(华为合营云) 的IaaS满足稳定、安全、可扩展的资源诉求;
  • 采用存储容灾服务(SDRS) 为应用服务器提供的RPO=0的跨AZ容灾能力,容灾站点的虚拟机均处于关机状态(不收取费用),只占用存储资源;
  • 采用云硬盘备份(VBS)/云服务器备份(CSBS) 服务满足数据备份诉求。

【云驻共创】与最年轻的云服务HCIE一起设计华为云存储架构(上篇)


总结


af2488bdf3e11a904a0e18e94a3807f.jpg

通过此篇文章,我们可以了解到企业数据上云趋势;华为公有云的三大数据存储多维度对比产品概述功能特性典型场景以及客户案例等;数据上云后的备份&恢复有哪些场景关键备份技术;数据在云上如何进行访问加速,可以透彻的学习华为云CDN产品优势关键技术

基于华为云强大的存储容灾服务(SDRS) 实现跨可用区RPO=0的虚拟机级一键式容灾,以此实现华为云低成本的容灾方案

在最后通过两个典型的架构方案(同城容灾及两地三中心)来清晰学习华为云各存储服务在满足该架构方案及其它架构时如何进行架构设计。

5299d6c40d1adec9a02a9bc51d6d5cb.jpg


本文参与华为云社区【内容共创】活动第18期。
https://bbs.huaweicloud.com/blogs/364560
任务28华为云存储架构设计

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。