以确定性运维的岁岁年年，守护云上春节的“烟火人间”

来源：华为云  作者：康镇、殷阁朕  时间：2024年2月27日

春节是中华民族最重要的传统节日，年年春意，岁岁暖心，人们回归故里，回归家庭，在与亲友团圆拜贺中获得情感滋养，筹划未来。随着城市数字生态迅猛发展，游子归家，亲人团聚，朋友相会，表达亲情，畅叙友情，抒发乡情等年礼节俗在“云上”解锁了全新表达，“云过年”也成了见证中国经济奇迹和家国文化与时俱进的最好窗口。

政务服务不间断，云上春节更精彩

新年烟火气，最抚凡人心。无论是人头攒动的街市、欢声笑语的人群，还是灯火璀璨的夜晚，丰富多彩的市民生活深度 “云化”，音视频、社交、高速、文旅、物流、汽车、教育等行业的云上业务流量高位叠加，加之流量洪峰各有不同，给城市云服务的稳定性带来不确定风险和巨大的挑战。

春节对于社会安定和谐有着极为重要的意义，城市政务云业务承载了春节期间关乎城市民生的公共事业，任何一次业务中断与故障等质量问题，都会极大影响市民的节日体验和政府的公信力。因此，确保城市“云上春节”的稳定性，为政务客户创造“确定性”的服务质量结果，是华为政务云SRE义不容辞的责任与追求。

保障服务三部曲，运行稳定零事故

为做好甲辰年春节期间城市云平台保障服务，政务云SRE从11月起提前100天进入“作战状态”，通过华为云确定性的运维体系及解决方案，将春节云上业务的不确定性变成SLA的“确定性”，实现全栈可观测性、故障快速恢复、管控变更风险、韧性评估优化，依托一体化的运营管理平台，联动质量、技术、研发、合规等专家组建春节保障团队，针对政务业务特点沉淀出一套重大保障方案，通过“事前强部署、事中严管控、事后重服务”的“保障三部曲”为政务客户云上业务保驾护航。

事前“强部署”：墨菲定律指出，“凡是可能出错的事有很大概率会出错”，这提示我们，任何一个事件，只要具有大于零的发生概率，就应采取预防及化解措施，防止和降低事故发生及影响。因此，政务云保障团队提前梳理全国基地重点业务，通过用云分析技术手段进行架构分析优化、安全评估、可用性检查、容量分析和资源监控等，评估云平台运行稳定性，识别风险和优化资源，确保系统运行状态最佳。对全网深度巡检，排查设施工具和服务的风险隐患，通过重点攻关、专项优化、加固保障、风险整改等措施进行风险清零消减。同时，因“地”制宜，根据各基地气象及业务特点，制定本基地应急预案和故障恢复方案，提前部署演练，降低故障发生概率和影响。

事中“严管控”：春节期间现网业务复杂性高、难以预测和掌控，极易出现突发质量事件，若无快速识别和应对、恢复和化解的能力，小则影响用户体验，大则可能造成经济损失甚至产生社会负向舆论。古语云，“安而不忘危，存而不忘亡，治而不忘乱”，在保障过程中既要高度警惕“黑天鹅”事件，也要防范“灰犀牛”事件；既要做好防范风险的先手，也要有管控和化解风险的应对过程。在春节重保实施期间，依托华为云SRE全面协同的重保体系，近千名驻场运维工程师7*24小时现场值守，全时监控，不间断巡检。西安、廊坊、深圳三大运维中心超过1000名SRE专家远程协同作战，全天候响应待命，一旦出现告警，做到能力团队快速响应、告警问题快速定位分析、应急预案快速实施、客户业务快速恢复。同时，通过变更管控、权限管控和网络封闭等措施，减少变更和其他操作可能触发的风险。保障报告每日推送，事件信息及时互通，联动多方资源时刻准备打好化险为夷、转危为安的遭遇战；始终敬畏业务，敬畏现网，实现“零重大问题、零重大事故、零投诉”的保障目标。

事后“重服务”：“居安思危，思则有备，有备无患”，成功保障的背后，就是要靠不断总结提高“本领”，提高应对风险、迎接挑战、化险为夷的保障能力。因此，在春节重保完成后，政务云保障团队会复盘保障亮点及问题，将优秀作战实践固化为经验库和保障作战手册，同时与政务客户分享华为云保障经验及建议，为下一次重大保障沉淀“教科书”，同类“风险”可以直接“抄答案”，提升整体保障能力。

专业服务开火力，数字生态云护航

回首2023年，华为政务云SRE在确定性运维理念的指引下，已为全国超过160座城市提供超过300次运维保障服务，无论是重大节日还是突发事件，城市云上业务平稳运行的背后，都有着华为云运维工程师在现场、远程、线下、线上日以继夜保驾护航的身影，“以客户为中心”，成就政务客户极致用云体验，助力政务业务价值稳步增长。

甲辰龙年火力全开，城市云上经济全面复苏，推广大促、重要节日、上线开服和云展会等各类城市活动全面绽放，业务稳定可靠和安全的运行，为受众提供优质的体验，是政府社会形象的窗口和业务价值的基础。为了更好的服务政务客户，政务云SRE将多年来领先行业的运维技术能力和实践经验外溢，沉淀出覆盖政务客户全周期运维专业服务，为政务云业务创造“确定性”价值。 在新的一年里，政务云SRE将时刻保持“归零”心态，拼搏奋斗、锐意进取，以稳定可靠、资源高效、安全可信、业务敏捷为目标，守护数字城市运行每分每秒，助力数字政府变革每时每刻，共筑数字中国美好未来，让运维成为智能世界变革的加速器！

确定性运维解决方案