【昇腾学院】昇腾AI处理器软件栈--神经网络软件架构

为完成一个神经网络应用的实现和执行，昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁，为神经网络从原始模型，到中间计算图表征，再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行，聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。

• 流程编排器负责完成神经网络在昇腾AI处理器上的落地与实现，统筹了整个神经网络生效的过程。

• 数字视觉预处理模块在输入之前进行一次数据处理和修饰，来满足计算的格式需求。

• 张量加速引擎作为神经网络算子兵工厂，为神经网络模型源源不断提供功能强大的计算算子。

• 框架管理器将原始神经网络模型转换成昇腾AI处理器支持的形态，并且将转换的模型与昇腾AI处理器相融合，引导神经网络运行并高效发挥出性能。

• 运行管理器为神经网络的任务下发和分配提供了各种资源管理通道。

• 任务调度器作为一个硬件执行的任务驱动者，为昇腾AI处理器提供具体的目标任务。运行管理器和任务调度器联合互动，共同组成了神经网络任务流通向硬件资源的大坝系统，实时监控和有效分发不同类型的执行任务。

总之，整个神经网络软件为昇腾AI处理器提供一个软硬件结合且功能完备的执行流程，助力相关AI应用的开发。

更多信息，请关注昇腾开发者社区

https://ascend.huawei.com