HC2023 主题演讲 - “系统性创新，构建智能世界云底座”观后有感

在平安总介绍完盘古大模型“共建智能世界云底座，让AI重塑千行百业”，不断为行业解难题，做难事之后，非常幸运的是，接下来分享的事来自华为云的张宇昕先生。宇昕总为我们讲述了这些难题难事背后面临着的众多技术挑战，华为云是如何进行核心技术的持续创新和突破的。

大模型：需要系统性创新

大模型及相关应用，可以说是迄今为止最复杂的软硬件系统工程，需要系统性的创新才可以应对。为什么这么说呢？随着大模型逐渐发展，从数据准备、模型训练、推理部署、应用落地这一系列过程中，模型参数数据会变得非常海量（超过数万亿），需要理解的上下文变得更长更全（Token长度变为十万级），存储、清洗、标注的数据规模将变得巨大（上百T），这些挑战互相影响，需要软硬件结合的创新，包括但不限于架构、数据、框架平台层面上，全面、系统的升级。

架构层面

大模型时代，AI算力就是新型的系统算力；对算力的要求非常之高，包括但不限于：

• 联接带宽和GPU算力的配比悬殊，未来需要全新的网络互联技术来解决运算量和GPU算力之间的巨大差距。
• 显存容量和GPU算力的配比悬殊，导致在模型训练过程中，为获取足够显存容量，带来不必要的GPU算力闲置。
• 内存带宽和GPU算力的配比悬殊，导致在模型训练过程中，大量的时间消耗在GPU数据加载，造成算力的进一步浪费。

在架构层面，华为云的擎天架构全新升级成为基于高速网络协议的分布式对等全互联架构，打破计算、存储、网络的边界，实现多元算力的对等全互联，让传统的主从式架构升级为对等架构，极大地提升了AI算力。

而基于全新的分布式擎天架构，又推出了一系列算力集群、引擎、框架和平台服务，为大模型及相关AI应用的开发、运行提供最佳算力服务。

数据层面

大模型，大存储，华为云AI云存储为海量的训练数据，庞大的参数提供云上全流程一站式技术。

在数据处理层，云上全流程一站式技术提供包括数据存储、分析、共享、标注等方案，让企业实现大模型数据“找得到、存得下、记得住、用得了”。这其中，包括内存服务EMS（提供超大宽带和超低时延，来支持GPU的内存扩展，容纳PB级超大规模参数），基于SFS Turbo文件存储技术的大并发高吞吐缓存服务（提供千万级IOPS，让数据准备速度快），基于OBS对象存储技术构建的低成本大容量知识湖服务（提供深度归档、智能存储分级和存储管理统计实现数据精细化管理），被称为大模型的超级外脑的向量数据库（能够将企业的相关只是与记忆，以向量化的方式存储到向量数据库中，解决大模型落地应用时的数据隐私和知识更新问题；同时支持已经推理过的问题进行缓存）。

其次，作为大模型的源泉-数据，华为云提供了数智融合平台，通过四大关键技术，为大模型提供更高效、高质量的数据底座：

1. 统一的数据资源和元数据技术LakeFormation，将分散的多个数据湖/仓构建为一个逻辑数据湖
2. 统一数据治理和安全DataArts Studio，提供高质量合规数据
3. 统⼀数据洞察DataArts Insight，提升大模型的调优效率和推理准确度
4. 统一编排和调度数据和AI工作流，融合DataArts、ModelArts、CodeArts三条生产线能力的协同⼯作台，以实时数据驱动模型的在线训练和推理

针对数据融合，华为云还在HC大会上全新发布了统⼀洞察产品DataArts Insight（新一代BI服务，提供可视、实时、易用、安全的企业智能分析服务，以最自然高效的方式获取业务见解，支撑业务实时高效决策）。

同时，高质量数据及数据的隐私保护也是大模型落地期间重点的挑战：比如高质量数据的需求导致数据准备需要消耗大量时间，大模型产出的算法和模型也难以被复制和变现（由于安全隐私和保护的顾虑）。为此，华为云推出了基于TICS隐私计算和区块链BCS服务，提供可信数据开发环境，实现数据可用不可见、全流程可追溯。

框架平台层面

在模型训练层，华为云通过盘古大模型5+N+X的架构实现了分层解耦，让每个行业、每个企业，基于自己的场景都可以拥有自己的大模型。

而在应用开发层，华为云整合了应用开发需要的开发生产线、低码/无码平台、AI应用框架及AI应用工程套件，让用户轻松实现基于大模型的AI原生应用0门槛构建。

• 华为云推出的AI标注云桌面，保证敏感数据始终保存在云端安全专区，打造了一个安全高效，支持多人协作的AI标注方案。
• 对于大模型应用，华为云也打造了AI应用框架，将一系列的AI原生技术构筑成后端服务，形成BaaS for AI能力，调用即可得；并支持将大模型的工程经验固化成工程套件。
• 通过面向AI全新升级的FunctionGraph 3.0提供AI的前端开发框架，利用其“胶水式”拼接能力，将BaaS for AI后端和大模型工程套件快速拼接、无缝集成；其优势也很明显：API形式对接，业务0改动；snapshot技术提供毫秒级弹性扩缩容能力。

总结

“系统性创新，构建AI时代最佳的云底座”，华为云上的这些服务，可以跨云、网、边、端部署和使用；而其基于大模型的这些能力，支持多种云形态的部署方式（包括公有云，边缘云、混合云）。也让观众们感受到了云和AI的结合，必将帮助行业攻坚克难，朝着“让云无处不在，让智能无所不及”的目标前行。