政务云上护航方案实践，促进体育赛事成功举办

案例供稿：康镇、殷阁朕

文章来源：《华为云确定性运维案例集（第2期）》

       一、业务背景

      本次保障的体育赛事具有规模大、水平高、影响深远的特点，承担着提升办赛城市影响力、拉动体育产业提质增效、为办赛城市经济发展注入动能的重要任务。“机中有危，危中有机”，办赛期间城市云上服务稳定运行，赛事的成功举办可以增强国际影响力，打造“城市名片”，提升产业发展潜力和城市综合能级；但另一方面，办赛期间如若出现任何安全质量事件，都会产生极大的负面影响，形成“反作用”。因此在赛事举办期间，急需一套保障城市云上业务安全稳定运行的云上护航解决方案，来应对用户激增、流量高峰、突发故障、恶意攻击等高度不确定性风险，保障城市赛事活动举行期间云上业务顺利运行，无重大网络故障、无负面焦点事件发生，助力赛事取得圆满成功。

       二、业务现状

      本次赛事活动举行期间城市云上业务的保障面临的挑战如下：

      1、赛事规模大，云上业务多

      办赛期间城市云上业务涉及多个领域和行业，如城市交通、文化旅游、医疗服务、安全应急等公共事务，如何保障业务高效稳定运行？

      2、用户瞬时激增，高峰周期长

      本次赛事作为城市的窗口级活动，民众参与热情高涨，业务高峰期长，且因赛制特点，易出现瞬时流量过大而对业务造成冲击，如何保障用户感知和体验？

      3、恶意攻击隐患大，安全风险高

      本次赛事作为全国性综合体育赛事，受全球瞩目，易遭受网络恶意攻击，业务安全风险高，稍有不慎便会引发敏感事件，政府对此极为重视，如何保障业务的安全和故障快速恢复？

      三、方案实践

      为解决城市大型体育赛事活动举行期间云上业务各种不确定性风险挑战，华为云以事前重预防、事中重保障、事后重总结为设计思路制定一套云上护航方案，通过保障前协助客户评审保障方案、监控和评估业务，并提供技术咨询和支持，保障中参考应急预案向客户提供快速响应和支持，保障结束后提供保障总结报告，沉淀保障经验向客户进行传递分享，实现保障有力、应急有序的服务结果，为重大活动在促进城市发展中的杠杆作用保驾护航。

政务云上护航解决方案

      1、事前重预防

      （1）资源监控

      按照最佳运维实践，支撑业务完成官网控制台的云监控配置，同时通过后台同步配置相关监控指标，确保运行异常情况及时发现和处理，实现系统监控双保险。

      （2）容量评估

      根据业务现状和业务高峰预测，基于华为云全球护航保障经验，结合监控工具，分析和给出云主机和带宽等扩容建议。

      （3）业务压测

      基于华为云CPTS对网页类应用的网页登录、查看等高并发业务或场景进行压测，提供并发数、事务成功率、响应时延和TPS等测试指标，针对瓶颈提供优化建议。

      （4）安全评估

      针对客户提供的网络安全、主机安全、IAM权限配置、数据库安全、密钥管理服务等基础性安全云服务进行风险检查并给出最佳实践，提供安全评估。

      （5）可靠性检查

      基于云服务的使用经验，从可靠性、备份建议、部署实践等维度进行检查，规避业务单点故障，提供产品的可靠性检查结果和优化建议。

     （6）切换演练

      针对关键场景通过主备、集群、备份和切换等动作，对关键云服务进行切换演练，验证业务系统的稳定性，提前识别关键业务性能风险点，提供优化建议。

      2、事中重保障

      城市大型体育赛事期间，往往会出现各种突发事件。因此在保障过程中，服务经理现场值守、WAR Room专家值守、7*24小时IM服务群实时响应，同时，运维中心SRE专家远程协同作战，全天候待命，一旦出现告警，能力团队快速响应、告警问题快速定位分析、应急预案快速实施、业务快速恢复。赛事期间加强变更管控，保障日报每日触达客户，及时互通每日发生的问题、资源使用情况等进展信息，确保客户满意度。

      3、事后重总结

      针对此次云上护航需求、里程和结果进行回顾，对护航涉及的关键云服务运行情况和期间关键问题进行说明，针对事前评估和事中值守等过程中的风险整改、架构优化、安全防护、应急预案准备等进行总结及分享建议，沉淀保障经验，提升客户保障能力。

      四、业务提升

      1、确保业务稳定

      在业务高峰期间，保障城市云上业务稳定、可靠和安全的运行。

      2、提升服务回报率

      通过云上可靠性风险识别，系统优化提升等一系列措施，确保系统运行状态最佳。

      3、提升品牌形象及价值影响力

      大型赛事期间民众对城市云上业务良好的体验和口碑，促进城市形象提升，激发体育消费、体育旅游、体育健康、数字体育等各类体育产业潜力，为城市经济发展创造更多可能性。

      4、提升保障能力

      通过云上护航经验分享总结，沉淀经验与数据，提升客户整体保障能力。

      五、案例总结

      本案例面对用户激增、流量高峰、突发故障、恶意攻击等高度不确定性风险，以事前重预防、事中重保障、事后重总结为设计思路制定一套云上护航解决方案，通过保障前评估优化、护航演练和保障方案，保障中7*24全时值守、迅速响应和高效处置，保障后的经验沉淀、能力分享和提升建议，来保障赛事期间城市云上业务安全稳定运行，助力客户坐稳体育热潮中的“流量担当”，为客户基于体育赛事构建融合性消费产品、服务和创新的市场保驾护航。