全域Serverless+AI，华为云加速大模型应用开发

日前，华为全联接大会2023在上海召开。华为云CTO张宇昕在大会上发布了基于Serverless技术的大模型应用开发框架，框架以面向AI领域全新升级的FunctionGraph 3.0为核心，将BaaS for AI 后端和开放平台快速无缝集成，助力企业轻松商用AI应用。

在“全域Serverless + AI 加速应用创新”专题演讲上，华为云首席产品官方国伟、华为2012实验室中软分布式与并行软件实验室主任谭焜，分享了Serverless和AI如何结合的前沿理念和实践，深度解析华为云在Serverless领域核心产品及基于元戎架构构建的分布式内核能力，为开发者打造Serverless AI极优体验，帮助企业加速应用创新；广联达科技股份有限公司首席业务专家/副总裁祁长福分享了在建筑行业，如何基于华为云Serverless产品FunctionGraph优化AI应用开发，提升交付效率。

方国伟介绍，在AI时代背景下，软件开发的方式由以代码为中心，走向以模型为中心，如何将AI大模型能力充分利用起来，是当下云厂商积极探索的事情。

企业研发人员在构建AIGC应用时更多关注开发部署门槛能否降低，更快的完成企业需求。运维人员要确保系统能够稳定运行，在业务量高峰时刻做到快速弹性，业务量小时节约成本，企业既能实现业务目标，又能保证系统可靠性高、成本较低。

为了更好的支撑AIGC应用，华为云提供了全域Serverless能力，推出了CCE Autopilot、FunctionGraph、CAE等Serverless产品，将一系列的AI原生技术构筑成后端服务，形成BaaS for AI能力，调用即可得。结合完善的工具链，帮忙企业快速构建应用。

Serverless 容器CCE Autopilot、CCI让用户无需关注底层资源，自动运维，帮助用户降低运维成本。

在Cloud Bursting场景，去哪儿网基于CCI打造了灵活上云新体验，完成业务0改造，实现4000实例/30s的极致弹性。

全新升级的FunctionGraph 3.0，新增Serverless应用中心、独创Snapshot冷启动加速、预留实例智能推荐特性，配合异构资源虚拟化技术，实现AIGC应用低成本、低延迟，加上端到端的全链路压测和全栈可观测能力，助力AIGC应用快速开发，天级上线。

杭州曼孚科技有限公司是行业领先的AI基础架构与数据智能平台服务商，基于FunctionGraph构建自动化AI训练平台，更细粒度的GPU算力供给加上按需全自动资源弹性，实现成本降低40%。

华为云Serverless事件总线服务事件网格EventGrid能够支持统一事件中心、事件驱动引擎、开放与集成、降低开发成本四大典型场景，为企业提供中心化的事件集成、治理和驱动能力。

Serverless应用托管CAE产品升级：支持应用0代码修改平迁上云，用户无需修改业务代码；支持Web/微服务应用Serverless化，帮助企业降本增效，提升业务稳定性。

BaaS for AI：华为云BaaS服务DWS 3.0 提供Pay By Resource弹性模式和Pay By Query弹性模式，帮助企业实现后端服务Serverless化。

“华为云提供全域Serverless能力，让开发者5倍速开发行业大模型，支撑千行万业的AI应用开发。面向AI领域全新升级的FunctionGraph 3.0，真正实现大模型应用即开即关、即时响应，无限扩展。”

                                                                               华为2012实验室中软分布式与并行软件实验室主任 谭焜

基于自主创新元戎内核构建的FunctionGraph 3.0如何保障AI应用开发部署低成本和响应低时延，谭焜做了深入的技术分享:

模型开发部署依赖昂贵的异构资源。传统的异构函数，CPU和XPU资源绑定分配，单一推理函数包含CPU和XPU操作，操作CPU时XPU空闲，操作XPU时CPU空闲，资源利用率低。元戎独创的纯XPU异构函数，CPU和XPU资源绑定解耦，用户可把不同类型资源的操作写成不同的函数，执行时分解到不同算力处理器上，无闲置资源。

在大模型推理场景，包括全量推理和增量推理两个阶段。全量推理阶段算力需求远高于增量推理阶段，增量推理阶段，耗时可能远长于全量推理阶段。针对这类场景，元戎可以做到全量推理和增量推理解耦，各自按需弹性扩缩，精确算力供给，真正按使用量计费，降低用户成本。

更快的应用响应速度意味着更好的用户体验。元戎自主创新的FoldFormer AI模型可在线持续预测用户业务负载，提前进行实例预热，达到85%~95%准确率，大大降低了冷启动概率。无法被准确预测的流量，通过一系列优化措施加速冷启动。在用户模型下载阶段，基于内置的内存数据系统和SSD构建的分级高速缓存，实现系统内缓存模型文件，大幅缩短下载时间。计算时，模型按Layer分批加载，并根据用户SLA和模型推理时延历史数据构建最优pipeline, 降低参数加载和模型推理总时延，冷启动优化到秒级。

广联达科技股份有限公司首席业务专家/副总裁祁长福发表AI赋能建筑行业数字化主题演讲。“广联达作为数字建筑平台服务商，立足建筑产业，围绕工程项目的全生命周期，为客户提供数字化解决方案，公司提出“数字建筑”理念，希望通过“数字建筑”系统、全面、深度地助力建筑产业转型升级。”

祁长福介绍，在技术方面，广联达通过大力研发BIM 和云计算、大数据、物联网、移动互联网、人工智能等信息技术引领产业转型升级。

在AI领域，广联达围绕行业难点，围绕设计、成本、施工等重点领域，打造核心AI应用。应用设计采用Serverless理念，依托华为云Serverless服务构建解决方案，将AI模型以镜像方式部署在FunctionGraph，对外提供通用API，无需管理运维异构资源（GPU等），模型实例随业务量全自动扩缩容，无请求时实例缩容到0，低成本高可用运行。上层应用采用FaaS+ BaaS的Serverless应用架构，集成模型推理接口，只需专注于业务逻辑代码，可函数级粒度并行开发，快速迭代应用。

华为云FunctionGraph技术极大的优化了AI应用的开发过程，让AI团队可以更关注业务实现，而无需关注底层技术细节。

“广联达以推动建筑行业数字化为己任，着力打造‘数字+连接+算法’的系统性数字化。围绕行业痛点，我们以智能化技术为基础，依托华为云FunctionGraph Severless架构，打造建筑从业人员的CoPilot，帮助行业人员提升作业效率，提高管理水平和决策质量。”

未来，华为云将持续落地全域Serverless产品，与华为2012实验室深度合作，以FunctionGraph3.0为核心，打造Serverless AI极低成本和极致性能，充分满足大模型应用的敏捷要求，助力千行万业深度用云。