0.1秒都不能多

举报
技术火炬手 发表于 2019/05/25 17:38:25 2019/05/25
【摘要】 他们通过白天与夜晚的衔接,让时针的每一次转动都打上奋斗与拼搏的烙印,拼尽全力挑战最初的“不可能”。在这个接近30人的团队里,从始至终,没有人想过放弃,我们用奔跑的姿态迎接最终的繁花盛放。

向“不可能”发起挑战

对于“电信云”集采项目组的成员来说,2019年的春节相比于往年有些与众不同。隆冬时节的南京,虽是寒风凛冽,但是岁末的新年味儿却越来越浓,归家的日期也越来越近,大家都怀揣着期待迎接新年的到来。

2019年1月30日,农历新年倒计时第六天,大家已经为新年的返程与即将到来的团聚做好准备时,一项重量级任务下达,“电信云”集采项目将在这一天启动,客户提出了明确的时间节点,要求在2月28日交付版本。随着日益增多的流量需求,X运营商的网络流量也与日剧增,为了给用户提供更优质的上网体验,X网的云化迫在眉睫,而我们这次的集采项目正是将华为云化新技术第一次应用到其中。

接到这个任务后,项目经理孙沛龙面临着巨大的交付压力,因为这是X网云化的第一个集采,第一次集采的占比将影响后续华为数通在X运营商的份额,其重要性可见一斑。他简单估算了一下,除去周末和春节的时间,留给项目组测试的时间只有17个工作日。这样仓促的时限要求,让团队里的每一个人都措手不及。还记得大家接到任务时的诧异和难以置信,有个兄弟说:“我没听错吧?这么短的时间内绝对不可能完成啊!”团队里第一批将要加入“战斗”的兄弟们也一致认为:这个组网方案是需要同时覆盖路由器、交换机、解决方案三方的大项目,即使是正常的单产品集采项目也需要3-6个月的验证准备时间,在不到20天的时限里完成并交付,确实是一件极具挑战性的任务。

虽然大家觉得给定的时间周期过于短暂,面对的任务困难等级又很高,但是在结果没有定论之前,不能让想象中所谓的“不可能”成为惧怕和退缩的理由。团队成员们没有被困难吓倒,全力向“不可能”发起挑战,开始了一场攻坚克难之战。

不会搭建的搬运工不是好码农

接手这个项目后,还没来得及大显身手,第一道难题就已经摆在了面前:我们面临着三人两天徒手搭建一套组网环境的极端考验。2月1日,农历新年倒计时第四天,项目启动的第三天,当我们联系搬家公司时对方告知他们已经休年假了,元宵节后正常上班,多方协调无果,但是时间不等人。在当下争分夺秒、时不我待的状态中,我们只能选择自己动手。测试间里设备的运转声隆隆作响,我们从“码农”变身为“搬运工”,拆箱、卸货、搬运、搭建上架......这一系列肌肉力量的考验是我们闯关的第一站。

300斤的NE40E-X16A路由器、260斤的12800交换机,作为PM,孙沛龙和另外几个兄弟肩负起了将近半吨的“重担”。大家开玩笑地说:“哥几个就当在健身房撸铁了。”脱下厚重的外套,卷起袖子,在粗粗的喘气声和沉重的脚步声中,我们扛着机器一步一步地靠近机架。好不容易把两个“重器”搬过来,接下来又面临着如何上架的问题。“兄弟们,开车了没?”大家面面相觑不知所以。“开车的去车上拿千斤顶吧!”相视一笑后他们明白了我的用意。靠着毅力和智慧,我们终于搞定了这半吨“重器”,完成了搭建上架的工作。逼仄又闷热的空间里,汗水浸透了从里到外的一层又一层的衣服。寒冬时节的南京,窗外的大雪还未消融,我们却在室内挥汗如雨,这感觉像是在汗蒸房里做了个SPA。

2月3日,腊月二十九,农历新年的前夕,设备间里丝毫没有停工休息的意思,团队终于赶在春节之前完成了设备上架和组网环境搭建的工作。看着搭建好的环境,兄弟们抹去额头上的汗水,心中的成就感油然而生。

1a.jpg

“四组一队”吹响战斗号角

其实接到任务后,大家心里都很清楚这场仗有多难打,面对这块难啃的“硬骨头”,我们的路由器、交换机、解决方案三方团队立刻集结起来集中办公,说起来还真的是“四组一队”的作战模式——充分发挥不同部门的专业优势,迅速拉开战斗的帷幕。

想要在与时间的较量中取胜,唯一能做的就是以火力全开的速度追赶项目进度。团队在春节放假的前一天结合项目周期讨论了时间安排,大家一致决定从春节假期第四天起进入战斗状态,开始新一轮作战。当目标相同的时候,所有人的决心和方向也是统一的。

来自三个不同部门的工程师首次组合成为一个新的作战团队,这种跨产品的玩法还是第一次。新团队成立之初免不了缺乏沟通和默契,经常出现对一个问题争执不下,双方吵得面红耳赤的场景。而且在争论时谁也顾不上昔日的情面,仿佛是两个立誓从此互不往来的劲敌一般,争得不可开交、难分胜负。有一次大家围绕着测试中出现的问题展开了激烈的辩论,谁也不能说服对方,气氛趋向于白热化,有个兄弟站起来摔了门就走,头也不回。但是没过一会儿,他又推门进来了,仿佛刚刚什么都没有发生一样,认真地对队友说道:“我还是觉得你刚才的分析有点问题,你看我这里的数据……”所以每当有“争吵”发生时,一群旁观者们不急不躁也不惊,更不会“劝架”,大家都心知肚明:经历了暴风雨之后,迎接我们的将是一个又一个破解了的难题,兄弟们在各抒己见的同时依然是并肩作战的好战友。

项目刚启动的初期阶段,当测试出现问题时,大家很难归责到具体哪一方,导致问题解决速度受到了影响。为了让三个不同的团队尽快磨合、达成默契,大家商议出了一套界定方案:如果问题是因为动了某个链路而出现的,那么将由负责这个模块的小组来解决相关问题。如果涉及多方则按比重来量化责任,占比重大的一方要出面主导问题的解决,即使是50%比51%的微小差距。明确了主体之后,项目组里的每个人都努力承担起自己的责任,竭尽全力解决出现的一切问题。这种使命感也加速了整个团队的磨合,从难以归责到强势担责,项目团队在摸索与磨合中迅速成长,并逐渐在解决问题的过程中形成系统的方法,团队的凝聚力也与日俱增。

2a.jpg

0.1秒都不能多

既然我们的初心是挑战“不可能”,那就必须带着争取每分每秒的信念奔跑起来。春节假期的第四天,农历正月初三,当其他人还沉浸在团聚的喜悦与假期的欢愉中时,“电信云”集采项目团队已经开始了作战的进程。

为了能在给定的时间里完成任务,有人提出:“我晚上留下来继续跑用例发现问题吧,保证人停设备不停,这样也可以充分利用时间。”于是,“两班倒”的特殊事件特殊的工作制度正式实行,时间表里不再区分是清晨还是傍晚,是上午还是下午,取而代之,大家的时间里只有白天和黑夜。项目经理孙沛龙特意提前准备了几箱泡面放在办公室,以防兄弟们上夜班时体力不支。结果平时最不受欢迎的泡面,在这个团队的特殊时期几乎以每两天的速度消耗一箱。

另外一边,客户测试中心那边也需要项目组成员的无缝对接。四个在一线的兄弟全程处于紧急作战的状态,从客户测试中心传递和反馈客户最新的需求和声音。

1月30日客户提供了测试方案打分表,其中倒换测试项的满分是时间小于1秒,我们必须达成这个目标才可能与友商拉开差距,达成技术比拼第一的目标。经过初步摸底,测试发现很多场景无法到1秒的要求,有些场景甚至出现了概率几十秒的情况。面对如此“难看”的测试数据,SA、SE团队面临着巨大的挑战。解决方案SA倪辉、产品SE王月华、於少峰、刘树名、殷拔群等团队小伙伴们纷纷表示“不达1秒,誓不罢休!”

还记得实际测试前的两天,模拟测试中发现一个倒换结果概率出现是大于1秒到1.2秒,测试人员将结果反馈后,SA&SE团队斩钉截铁地答复道:“0.1秒都不能多,我们会尽快提供解决方案”。随即开始在作战组网图上按照故障场景一遍遍地推演论证和分析数据,路由器同事提出方案A,推演论证工作量巨大;交换机团队提出方案B,推演论证不符合实际应用;解决方案这边提出方案C,推演论证短时间很难实现。这时候SA团队都开始怀疑是否还有解决方案了。看着大家似乎都钻进了死胡同了,倪辉让大家先好好休息一下,再来头脑风暴。十几分钟后,一名SE突然返回会议室,激动地呼叫着“我想到了新的方法!”。经过一番讨论,又联合模块开发确认,缩短倒换时间的解决方案终于落地。部件立刻启动临时补丁开发,凌晨测试验证后,结果终于满足1秒的要求!

3a.jpg

越努力,越幸运

当南研所大本营的兄弟们后方的全力支持的时候,一线交付组组长赵祥雷正带领着三个兄弟在北京一线奋战。在硬件巡检的过程中,客户的需求发生了一定的变更,我们将这一情况立刻反馈给了南京,并第一时间进行摸底测试。为了不耽误项目整体进度,尽快完成新一轮的测试,大家在机房里随时待命,确保发现问题后可以及时修补,测试持续了一整个星期。

天道酬勤,项目组所有人员的辛勤努力没有白费。在交流过程中,我们感受到了客户对华为公司专业程度的信任和认可。这次参与的项目量级很高,涉及到的领域的专业度也相对较深,之前的集采都是每个产品单独进行的,而这次则采用交换机与路由器糅合在一起的特殊组网模式,所以客户公司总是先与华为公司的技术人员做充分地交流,对我们提出的一系列方案也表示了认可。这也是一线兄弟们努力奋战的最大驱动力。

随着测试的逐渐深入,距离交付的日期也越来越近了。我们反复地进行现场模拟,努力把失误的概率减小到最低。在交付设备的前一天晚上,大家心情颇为复杂,虽然我们期待着这个项目取得最终的成功,但是却也心存紧张与忐忑。在这么短的时间里的集采测试成果终于要被验收了,希望交给客户时出现的小问题越少越好,成败在此一举。大概是因为每一个人对项目倾其全力的付出,在交付时以零失误的完美表现再一次证明了我们卓越的技术与实力。而且在交付现场,客户提出了很多专业性问题,兄弟们对每一个问题一一解答并作出清晰解释,当场双方达成一致。事后我们笑称:“今天的运气真是太好了!”但其实我们每个人心里都很清楚:越努力,越幸运。成功绝不是偶然的,它是一次又一次努力积累后的必然结果。

项目结束后,项目经理孙沛龙在一个平常的工作日里为整个团队订了个特别的蛋糕,纪念一起并肩作战的日日夜夜。大家看到蛋糕的那一刻,露出了甜蜜而又令人难忘的笑容,那是只有携手共进一起挺过来的兄弟们才能感受到的温暖与开心,也是整个团队最珍贵、最值得珍藏的回忆。我们通过白天与夜晚的衔接,让时针的每一次转动都打上奋斗与拼搏的烙印,拼尽全力挑战最初的“不可能”。在这个接近30人的团队里,从始至终,没有人想过放弃,我们用奔跑的姿态迎接最终的繁花盛放。

口述:数通测试团队

撰稿:数通研发管理部&南研二十年采编组


本文为《华为人》版权所有,未经允许不得转载。如需转载请联系编辑部hwrb@huawei.com


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。