大数据上云与实施服务助力生鲜客户大数据高效平稳迁移

来源：《华为公有云专业服务案例集》

     某生鲜致力于通过产地直采、前置仓配货和最快半小时配送到家的服务模式，通过技术驱动产业链升级，为用户提供品质确定、时间确定、品类确定的生鲜消费体验。

     该平台所涉及的大量商品属于日常购买频率非常高、易变质、易耗损的生鲜品类。如何将这些产品保质、保量、及时地送到消费者手中？这大幅度地考验了平台的运营能力。某生鲜的时效背后，是低温分拣、冷藏保鲜以及移动仓储等设备能力、平台的超级算力、运力以及智能化解决方案共同达成的结果。

     华为云大数据专家团队深入项目，开展详细设计整体搬迁方案和汇报工作，并完成华为云镜像环境部署，搬迁分三步落地：

     为了响应国家数字化转型战略要求和企业自身发展述求，某车企与华为云联合项目组通过落地数字化转型规划设计，明确支撑数字化能力的数字化服务平台架构以及建设路径，以及数字化转型总体实施的指导方针，持续提升客户对产品服务的满意度以及品牌忠诚度。

     在两方交流初期，华为云深入调研某生鲜大数据平台，聚焦存算分离、组件演进、部署耦合、资源利用率等问题。

     从架构上来看，“存算一体”式架构，在高并发查询会有较高的时延。

     在组件演进上，大数据组件CDH已不再演进、Impala/kudu选型可进行调整。

     在运维成本上，在云上构建“数据底座”相较“本地自建”能减少技术投入，降低运维成本。

     双方确立迁移意向后，华为云迅速组建某生鲜迁移专项小组。小组以迁移实施里程碑为主线，通过日周例会机制、责任矩阵、精细化迁移等举措，进行任务和问题跟踪与闭环，保障迁移前后业务稳定。

     在前期方案设计阶段，针对业务问题，双方共拉起30多次方案讨论会议，涉及客户业务方人员600余人，共输出20多份详细设计方案。在实施过程中，针对数仓分支问题，华为云迁移团队安排“工具+人工”双重筛查，每天任务工具批量校验，不一致任务人工筛查，确保数据能连续多次核验正确。

     迁移小组团队先将数据迁移至云和搭建对等镜像环境。待部分迁移后，开启任务调试和数据核对双跑。等15个业务系统完成后，再进行全局割接和性能优化。整个搬迁过程，华为云协助客户完成N PB+数据全量搬迁，1w+作业迁移调试，3w+数据表一致性比对。历经140天，完成迁移工作，比预期提前20天。

     根据设计方案实施迁移后，某生鲜的平台性能和大数据运维性价比均有所提升。从原有存算一体架构转变至云上存算分离架构，摆脱了存储和计算之间的绑定关系，底座从低核CPU转而采用高核鲲鹏裸金属服务器。相较于原环境，集群成本下降22.7%。同时在数据膨胀时，1PB数据成本可降低37.8%，总体性能比呈线性增长。

     其次，华为云迁移团队在迁移双跑环节，对Spark、pySpark任务的性能进行了深入的调优，解决了数据倾斜、GC、小文件、内存溢出、兼容性等关键性能瓶颈问题，整体任务性能相比较原环境提升25%以上。原平台过旧的组件、引擎做了相应升级，针对任务完成了10000+离线、实时任务的梳理，识别下架300+、优化改造200+，纠正了400+核心任务的依赖关系。在数仓建设方面，梳理了接入层、中间层、结果层共30000+数据表，识别核心表400+张，修复核心数据不一致性问题5个。

     华为云从搬迁“前、中、后”全流程，围绕某生鲜使用场景，快速提升数据质量、平台性能、稳定性，提升用户体验。基于强大的数据底座，华为云帮助客户解决了生鲜订单系统运转效率等问题，某生鲜与华为云的下一步合作将围绕用户体验展开。华为云以智能营销、智能推荐、智能预测为代表的7大智能化实践，真正覆盖了从产到销的全链路。

     大数据上云与实施服务、裸金属服务器BMS、MapReduce服务 MRS、对象存储服务OBS等