Graph Engine大揭秘
举报
昇腾CANN
发表于 2025/12/25 11:49:29
2025/12/25
【摘要】 当前主流的深度学习框架提供了Eager（Eager Execution，即时执行）模式和图模式的运行方式。Eager模式的特点是每个计算操作下发后立即执行，而图模式则是将所有计算操作构造成一张图，以图的形式下发执行。相较于单个计算操作依次下发的方式，图模式具备图的全局视角，能够更有效地简化和优化计算图操作，从而获得更优执行性能。图引擎（Graph Engine，简称GE）是昇腾平台计算图编译...
当前主流的深度学习框架提供了Eager（Eager Execution，即时执行）模式和图模式的运行方式。Eager模式的特点是每个计算操作下发后立即执行，而图模式则是将所有计算操作构造成一张图，以图的形式下发执行。相较于单个计算操作依次下发的方式，图模式具备图的全局视角，能够更有效地简化和优化计算图操作，从而获得更优执行性能。
图引擎（Graph Engine，简称GE）是昇腾平台计算图编译和运行的控制中心，提供了图构建、图编译优化及图执行控制等功能。借助GE图引擎能力，PyTorch、TensorFlow、MindSpore、PaddlePaddle等主流AI框架的算法模型可以统一转换为使用Ascend IR（Ascend Intermediate Representation）表示的计算图（Ascend Graph），并通过GE的图编译加速技术，显著提升计算图在昇腾硬件上的执行效率。此外，GE还提供统一的图开发接口，支持自定义图结构，帮助用户基于昇腾硬件快速部署神经网络业务。
实践证明，在大模型推理、推荐、小模型等领域，图模式往往能带来更好的性能收益：
1、图优化：图模式自带优化可以通过常量折叠、格式、融合等优化消除图上冗余逻辑，提高执行效率
2、下沉调度：静态shape场景，图上所有计算任务可以预先编排到Device，仅需一次触发即可唤醒所有任务执行
3、纯C++调度：动态shape场景，使能图可以避免总是返回Python调用栈，避免冗余流程和数据结构转换
4、内存管理：静态shape场景，基于整图信息，做拓扑、内存复用优化，做到更好地内存复用率，一般来说，复用后内存可以达到理论最优值。
看到这里，相信大家对GE有了一个初步的了解，同时也有很多熟悉CANN，使用过CANN图模式的朋友，估计心里对会对GE的使用有一些疑问：
本次我们会针对GE的核心模块以及开源范围进行一个全面的说明，包括核心特性介绍和随本次开源开放推出的新能力，同时针对历史上使用CANN图模式遇到的疑问和问题做一个全面的梳理和优化；
12月26日，我们会正式对外开源GE，并进行一场主题为“Graph-Engine开源介绍以及优秀实践”的 Meetup 专场直播 。
1、GE 开源仓的整体情况，包括开源目的、组件架构、核心特性、未来的发展规划以及我们的改变。
2、GE 的优秀实践，通过实际案例演示，让大家能够深入的了解到图模式在大模型推理以及推荐等领域的优势。
非常欢迎开发者朋友们在公众号评论区提出你们关心的问题，我们会将这些问题收集起来，在专场直播中为大家进行解答。关注昇腾CANN公众号，及时获取直播时间与观看链接，相信通过这次直播，大家会对 GE的使用有更深入的了解，也能够在今后的开发工作中充分发挥它们的强大威力，为昇腾芯片的应用开发带来更多的创新和突破！
推荐
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
评论（0）