没有耀眼的光环,坚守我们的平凡

举报
技术火炬手 发表于 2020/03/02 15:53:56 2020/03/02
【摘要】 疫情没有结束,生活还在继续,各自的阵地必须坚守住。

下班路上,偶然听到一首歌,曲调舒缓,娓娓道来。歌词有些无奈,有些悲怆,更有些倔强,有些坚持,有些不服输。在坏消息满天飞的2020庚子年正月,在车很少、人罕见的下班路上,我很快沉浸其中。回到家,知道了这首歌叫《只要平凡》——电影《我不是药神》的主题曲。音乐带着思绪回放,电影中一幕幕浮现在眼前。身边的人和事,也像一个个镜头一样,亲切的、微笑着,带着自己的精气神迎面走来。

2020年春节,注定是毕生难忘的春节。全国人民都在为战“疫”全力以赴,而我们,也有我们专属的战场,一场必须要打赢的战役。我们团队负责融合视频全球局点维护工作,和众多维护团队一样,每逢重大节假日、重大活动,当大多数人休息、团聚之时,对维护团队而言,却是业务量明显增加、必须万无一失的时候。这是我们的考场,一年一度的年终大考。无法想象,在阅兵直播感受祖国强大国力时,在亿万家庭阖家团圆欢度新春、观看春晚守岁时,家里的电视突然看不了,将是怎样的灾难。今天,我们可以自豪地说:除夕、春节,在这艰难的时刻,我们没有掉链子,我们成功守住了阵地!

回不回家?这是个难题。

客户的视频业务系统非常复杂,华为系统、客户自己的系统,众多第三方系统,一起构成了完整的业务系统,呈现丰富的业务体验。任何环节故障,最终体现出来的就是业务受损;华为需要第一时间解决问题,或者定界到第三方、支撑客户快速解决问题;加上除夕业务量持续增加,整体业务风险高。因此,中国区业务上量这几年来,除夕夜,必然有服务兄弟、维护兄弟在办公室、在电脑前值守。

我已经连续3年除夕夜值守,今年原本买了初一一大早的机票,准备保障结束之后直奔机场,吃不了年夜饭,赶上家里初一午饭,也是非常不错的。心里很是期待。面对23日武汉突然宣布封城的严峻防疫形势,作为一个湖北人,春节回家还是不回家?这是一个问题,一个很难回答的问题。其实,直到除夕白天,都还没有放弃回家的念头,还在挣扎。中午,妈妈打来电话说:“别回来了,后面再说吧,我怕你回老家了,没法回南京。” 老太太这句话,回想起来,真的非常有前瞻性。没有犹豫,赶紧退票吧。

我们有个兄弟,从加入团队以来,由于其所负责业务领域持续高压力,前面连续多年参加除夕值守。随着这三年保障越来越成熟,风险逐步可控,安排除夕保障值班时,我们团队非常愉快地做出了一致的决定:让他回家过年。兄弟带着妻儿自驾回去过年了,我们都很高兴。但是,他老家是湖北黄冈的,村里家家自我隔离,家里蹲了几天,虽然住得很近,但亲人间只能电话拜年,度过了一个没有走亲戚的春节假期。我俩湖北老乡电话聊起这个事,五味杂陈,一阵叹息。为自己,也为家乡。

封城?赶紧看看武汉的业务情况!

1月22日,武汉宣布封城。

23日一大早看到这个消息,心里咯噔一下:封城?从未听说的词汇啊!湖北省、武汉市、各州市,容量要不要再次评估?风险要不要重新审视?答案是肯定的!部门主管也第一时间发来消息叮嘱。马不停蹄赶到办公室之后,初步审视了已有的湖北各局点保障信息之后,马上拉了Espace群组,代表处服务主管、局点工程师,RTAC视频业务负责人、保障负责人,研发维护团队迅速就位,就地办公(武汉部分交通严重受阻)。一位春节七天值守、家人来南京过春节的同事,原计划23日早上请假去买点年货,接到电话后,也第一时间赶到公司参与评估。

各项工作,迅速展开。融合视频是全省一张网,既需要关注全省,也需要关注核心区域。针对全省,针对各个地市,尤其是武汉等核心区域逐一审视,以业务量翻倍为假设条件再次评估:审视全网容量,审视中心容量,审视地市互助配置,审视主备冗余,审视热门频道分布是否充足等等,一个小时后,我们心里有了底——整体可控,部分区域高风险,密切监控,及时调整。会后,武汉、西安、南京三地与会兄弟们互道一声保重,转身奔赴了各自的岗位。我们约定,在我们的小群组中,第一时间通报各局点业务情况,关注23日晚上业务峰值,提前预估除夕当晚的风险情况;除夕当天高频及时通报。由于提前审视、提前布局、提前应对,各项措施有效落地,确保了XX局点在用户数大幅增加、业务流量接近翻倍的情况下,系统运行平稳,无业务故障。

假期结束后,准备解散群组,在群里互道珍重。鼠标在解散群组按钮上停留了会儿,忽然觉得,群,要留着。有事时现场兄弟们能第一时间反馈,我们也能第一时间响应。我们不能为武汉、为湖北抗击疫情做医疗贡献,但是我们可以做好后勤保障。让待在家里的同胞们可以顺畅使用我们的业务;群,保留到疫情结束后再看吧。

暖心年夜饭,感谢有您!

大年三十一大早,起来跑了十公里,然后整理行装,向园区出发!路上行人稀少,车辆寥寥,与此同时,值守的兄弟们陆陆续续赶到了各自的岗位。特殊时期,上班也变得很特别。量体温,戴口罩,气氛一下子更紧张了。事后回想起来,我们团队可能是研究所第一批成建制戴上口罩工作的团队。

除夕夜,千家万户在家团聚,年夜饭温馨丰盛,其乐融融。但对值守的同事来说,吃饭,的确是个问题。2018年春节,我们自带干粮,业务部门主管晚上亲自买来了热腾腾的肯德基,度过了我们的第一个除夕值守夜。2019年,研究所组织了行政供餐,大家在一起围餐,还准备了好多吃的、大礼包送到工位,兄弟们心里很温暖。

今年,研究所组织了午饭、年夜饭,炒菜、鱼、虾、鸡肉牛肉、时令小炒一应俱全;别说,平时总觉得食堂改进空间不小,但单单炒菜口味还是很不错的;师傅们别介意啊,感谢你们!心里美,味道更美。快结束时,餐厅还送上了特别的惊喜:饺子!不光有饺子,南方的朋友们,还有汤圆哦。这顿饭,圆满,暖心。

在这里特别感谢下家人。每年除夕值守,家人都会准备熟食,带到值守阵地大家一起分享。种类还挺丰富,包括牛肉、鸭肉、鸡爪、鸭脖、鸭胗……还有南京的什锦菜。家里人说了,光吃肉哪行,还得搞点素菜搭配起来吃。上面各种吃的,不是在店里买的成品,而是买原材料回家自制的,干净卫生,兄弟们评价口味挺好。

每个华为的身后,都有一群默默支持我们的人,每个成功的背后,都有他们的坚持付出,感谢有您!

一群带着口罩的人在战斗

除夕夜,保障工作注定是忙碌而充实的;无论是在南京,在西安,还是在浙江、北京、新疆、河北、广东、四川、山东、内蒙、河南等各地客户现场。我们准备了一台电视,客户授权后打通网络,接入了CCTV1高清直播,大家虽然忙,除夕的气氛还是要有的。

今年春节,我们鲲鹏架构CDN批量商用;CloudVR平台提供新的收视体验。新业务,新方向,也带来了新的挑战。

春晚,大家看到的是靓丽的画面,精彩的节目;我们看到的是一条条曲线,一个个KPI,一个个群里跳出的消息;还有,一个个问题,一个个突发事件。今年,RTAC同事开发了局点核心负荷收集系统,各局点每小时反馈脱敏情况。RTAC区长、研发维护值守负责人实时盯着系统,一有风吹草动第一时间拉通确认,各种问题第一时间处理闭环,各种事件第一时间响应。湖北,尤其是武汉,专人特别关注。

北方XX局点,作为外来人口大市,预估春节期间用户量会大幅下降。但是计划赶不上变化。由于突发疫情,大量同胞取消行程,业务量不降反升,而且是大幅增加,直逼容量上限!一旦达到容量上限,意味着后续接入的用户无法使用业务,看不了电视!让所有用户顺畅观看春晚,是融合视频团队的社会责任!关键时刻,我们绝不能掉链子。一二三线迅速组织精干力量,扩容、应急,按事先准备的预案10分钟以给出了实施方案,客户决策之后迅速实施,最终,业务稳定,顺利度过业务高峰。

不曾想,客户也来“添乱”。除夕夜晚上八点半左右,“正片”春节联欢晚会已经开播,监控到某大容量活跃局点核心业务部件资源占用突增!多个告警瞬间出现在网管上!该部件为终端用户提供服务,一旦异常,将会导致终端用户业务受损!八点半,正是业务快速爬坡上量的阶段,现场告急!业务告急!保障兄弟们心里一紧。但百战精兵不是被吓大的,没有惊慌,没有愣神。一二三线迅速联动,在场保障的一线和机关同事迅速分工,一组同事迅速确认影响,监控业务KPI,拨测业务,幸好,业务体验正常;与此同时,另外一组同事紧急分析资源突增原因,快速发现了问题源头:大量资源文件正在下发到服务器,经客户确认,正在发布新业务!大家不敢掉以轻心,目不转睛的盯着资源情况,过了几分钟,业务发布完成,资源使用率恢复正常。所有兄弟们长舒了一口气!大家稍微平复了一下心情,继续战斗;因为不久之后,客户来了第二波业务调整……保障结束后,现场值守的客户从保温瓶中拿出了自家包的饺子,和大家一起分享。今年,是这一群人在一起守局、守岁,一起度过了忙碌但平稳的除夕夜。

……

一场场短兵相接在继续,时间在飞快流逝。有些时候,总觉得时间过得真快。

零点钟声敲响,业务容量逐步下降,系统运行平稳。整个除夕夜,无华为原因导致的业务异常。各局点运行平稳。这一仗,我们打了下来。

南京保障团队合影,口罩下,是一张张百战归来,胜利必定属于我们的坚定面孔。我们期待早日摘掉口罩,可以开怀大笑,相互拥抱,在一起放肆吃喝,大声歌唱,迎接阳光的到来。

image.png

结束了?才刚刚开始!

按照以往的经验,除夕顺利通过后,后续几天业务逐步趋于平稳。

今年,不一样。

除夕假期,受疫情影响,多个局点持续高负荷运行。同时,随着开学延迟,各地开展了“停学不停课”活动,各局点教育视频批量上线,这既是业务的机会点,也为保障工作带来了新的变数。为了确保局点第一时间响应,我们的值守由电话值守改为便携在线值守,每天的值班主管,值班同事早上签到,值守期间第一时间看消息、回消息、响应各局点的求助,晚上总结截至当天的情况,并做好与第二天值守同事的工作交接。一切紧张而有序,持续到假期结束,确保了全网业务平稳运行。

由于部分办公环境限制,部分工作需要在办公室完成。为了确保持续高负荷业务组件运行稳定,1月31日至2月2日,在假期延长期,在确保安全的前提下,我们部分维护人已经进入园区,恢复到工作状态。期间,物业每天上下午准时到办公位量体温,防控和关怀覆盖到每个人。在偌大的办公室,我们四五个兄弟笑言:平均每人享用近两百平的办公室,空间足够大,远超两米的防护安全距离,真够奢侈的。

这注定是场艰苦的战斗,这注定是场持久战。

回首2019,惊讶的发现我们团队成员的脚步遍布全国近30个省市,海外近10个国家;支撑了众多项目顺利交付;顺利保障了国庆、春节等重大节假日;还有多次争分夺秒,恢复现网故障;一次次战斗,一次次冲锋。这就是我们——一群平凡的华为人。这是发生在我们身边的事,平凡的人,平凡的事,平凡的目标,平凡的坚守。

疫情没有结束,生活还在继续,各自的阵地必须坚守住。从去年国庆阅兵保障开始,我准备了一个笔记本,邀请每位在办公室值守、在一线支撑的兄弟们签名留作纪念。每一个平凡的名字后面,是一份付出,是一份坚守,更是业务发展路上的一块块基石!

没有耀眼的光环,坚守我们的平凡;此心此生无憾,生命的火已点燃。

本文为《华为人》版权所有,未经允许不得转载。如需转载请联系编辑部hwrb@huawei.com


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。