【昇腾学院】昇腾AI处理器软件栈--框架管理器（Framework）
【摘要】 框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前，框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型，并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时，框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源，将离线模型、数据和达芬奇架构三者进行结合，优化执行流程得出神经网络的应用输出。功能框架框架管理器包...
框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前，框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型，并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时，框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源，将离线模型、数据和达芬奇架构三者进行结合，优化执行流程得出神经网络的应用输出。
功能框架
框架管理器包含了三个部分，分别为离线模型生成器（Offline Model Generator，OMG）、离线模型执行器（Offline Model Executor，OME）以及模型管家（AI Model Manager），如上图所示。开发者使用离线模型生成器来生成离线模型，以om为后缀的文件进行保存。随后，软件栈中的流程编排器调用框架管理器中模型管家，启动离线模型执行器，将离线模型加载到昇腾AI处理器上，最后再通过整个软件栈完成离线模型的执行。从离线模型的诞生，到加载进入昇腾AI处理器硬件，直至最后的功能运行，离线框架管理器始终发挥着管理的作用。
更多信息请关注昇腾开发者社区
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）