华为云FunctionGraph函数工作流—— “Serverless“遇见”AI，释放AI生产力

        5月26日-27日，由msup主办的2023年A2M峰会在上海南新雅皇冠假日酒店盛大举行。本次A2M峰会以“AIGC时代下的AI落地实践、数据智能和基础架构演进”为主题，邀请了100余位行业专家从支撑数字化转型的几个关键技术切面入手，甄选前沿有典型代表的84个技术创新及研发实践的架构案例，分享他们本年度的总结和实践启示。

        峰会第二日，华为云Serverless研发工程师朱安东带来了主题为“Serverless“遇见”AI，释放AI生产力”的分享，重点介绍了业界领先的基于函数计算的Serverless AI 推理解决方案，并展示了华为云函数工作流（FunctionGraph）的灵活、速度，如何让开发人员提升工程效率，缩短TTM等。

华为云 serverless研发工程师 朱安东

       朱安东表示：“AIGC正逐渐在千行百业生根发芽，并且快速成为了行业中重要的生产力工具。伴随着AIGC大模型以及领域专家类型的中小模型的快速演进，引发了海量AI推理、大模型托管以及底层强大算力的诉求。 然而，要想实现AI扎根千行百业、实现“AI everywhere”的最终目标，我们仍然有很长的路要走。”

Serverless—— AI everywhere的下一块拼图

        从业内工程师的角度来看，AI应用迭代发展的核心痛点主要包含2个方面：

1. 算法工程师作为AI应用的核心开发者通常只会和模型、数据以及代码打交道，主要工作围绕数据清洗、数据工程、特征工程还有模型设计、开发、训练等，偏研究和理论方向。但是一旦涉及到算法模型和AI应用的最终落地，推广给大量用户使用就会涉及到模型发布、上线等动作，为了完成这些流程，开发者通常需要去花时间和经历学习托管类知识，尤其是云原生时代下的docker 还有k8s等；
2. 对于参数量很大的模型上线后很难找到足量、优质的算力资源快速获得推理结果，推理性能差。从基础架构工程师的视角来看，GPU硬件设备成本高，研究阶段的需求量尚且能够满足，但是上线后面对海量用户和请求的资源量过于庞大，需要大量的投入；

       另外，业务通常都是有浮动趋势的，就像旅游业的淡季和旺季，为了满足业务峰值准备的资源在业务量低的时候资源利用率也随之降低，资源严重浪费。

       综上，AI应用如果想深入到人们的生活仍有很多问题需要克服。那么如何加速AI应用快速落地、敏捷迭代呢？Serverless是以应用为中心的新型云原生计算形态，这是业界的共识。而“用户无感、按需使用、以应用为中心，无需关注基础设施”这几个特性正好可以解决AI应用的几个痛点问题：

1. 以应用为中心：AI工程师可以专注业务逻辑和模型performance，节约下大量的时间和精力。
2. 无需关注基础设施：企业和架构工程师无需提前准备海量计算资源、自建机房，只需按需使用，按量计费。

华为云FunctionGraph解决AI用户上云4大问题 

       华为云FunctionGraph函数工作流是一项基于事件驱动的函数托管计算服务，通过函数工作流，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数便可以弹性、免运维、高可靠的方式运行。对于现阶段人们对业务、弹性以及降本增效等诉求提升，华为云FunctionGraph无疑是AI推理Serverless化的优质选项。

       在Serverless的开发模式下，开发人员和交付流程实际上是有明显界限的。开发人员只需要上传代码包或者一个镜像文件即可让整个业务跑起来，不需要面对繁琐的交付流程。

       为了让用户能够在Serverless平台上更加丝滑、流畅的开发和运行AI，华为云FunctionGraph推出了针对AI场景的解决方案，主要解决AI用户上云的四大问题： 

①工程效率

• 模型开发、编排：专注业务代码，NoOps，低码编排
• 支持代码包，容器镜像

②性能、弹性：

• 长时负载，支持异步函数调用，最长函数执行时间72小时
• 冷启动问题：池化预热、弹性调度

③运行时、异构计算：

• 支持GPU/NPU，加速推理性能
• 支持GPU共享，提升资源利用率

④模型加载加速：

• 大文件加载：OBS+SFS结合，解决ML模型库&模型自身大文件加载问题；
• 链路加速：高性能解压缩转换，降网络开销、CPU解压耗时；共享内存加速技术，降解压IO开销；依赖包预加载，降低公共依赖的下载、解压耗时

同时华为云FunctionGraph基于函数计算的 Serverless AI 推理解决方案具有5大优势：

    1.更低的学习成本，更卓越的工程效率，更短的TTM

         华为云FunctionGraph可以极大提升开发效率。精通Python的算法科学家无需学习如何安装、配置和操作复杂的计算和数据存储基础设施, 通过可视化拖拽式函           数流便能编排复杂业务场景。此外，函数还支持容器镜像，简化了AI推理Serverless化。

     2.丰富的函数开发生态。

        华为云FunctionGraph支持GPU/NPU能力，具备GPU虚拟化技术，从而提高GPU硬件资源的利用率并降低使用成本。

     3.更低的资源成本，按需付费，提供工作负载感知智能推荐能力。

        函数计算以1ms粒度按量计费，函数编排基于节点执行次数计费

     4.极致的冷启动、弹性及更智能的调度能力。

        资源池化预热、分层预加载与弹性水位控制：通过单实例多并发、分层预热提升性能、降低成本。函数实例百毫秒冷启动时延，毫秒级弹性。

     5.多维度结合的大文件加载加速能力。

        高性能解压缩转换，降网络开销、CPU解压耗时。

        共享内存加速技术，降解压IO开销。

        依赖包预加载，降低公共依赖的下载、解压耗时

       Serverless代表现代化架构的演进方向，与微服务将长期并存，在5-10年内将成为云的首要交付模式。根据IDC今天发布的《全球半年度公有云服务跟踪报告》显示，2020年全球云计算市场同比增长24.1%，收入总额达3120亿美元。同时Serverless对客户端还具有成本优化、效率提升的商业价值。面对Serverless的发展大势，华为云将打造全栈全场景的Serverless能力，并在音视频、数据处理、物联网、端测应用等场景优先推广落地，围绕这些场景进行打穿，推动相关高阶服务进行Serverless化改造。今年，华为云在能力打造上将优先推出函数计算2.0、Serverless应用托管 CAE、事件网格服务EventGrid、ADM等；同时，也将在Serverless开发工具及可观测性上构建端到端的能力，并重点在前端Trigger、后端BaaS上进行丰富，全面打造Serverless应用生态。华为云FunctionGraph期待与更多的开发者见面。

       华为云持续将最先进的技术提供给全球的客户、伙伴和开发者，助力千行百业的客户商业成功。

————————————————————————————————————————————————————

产品官网链接：

https://www.huaweicloud.com/product/functiongraph.html?utm_source=&utm_medium=&utm_campaign=roma&utm_content=developer-iot