HCIE-AI SA：MindSpeed领域加速库介绍

1.概述

基于昇腾硬件的分布式加速库MindSpeed的介绍。

2. 目标

3. 计算系统面临的四大挑战

内存墙：负载参数量每两年增长240x，而硬件内存每两年增长2x；内存墙不仅是内存容量，也包括内存传输带宽。

算力墙：CV，NLP和语音模型，模型运算量平均每两年翻15倍；Transformer的模型，模型运算量平均每两年翻750倍。而芯片算力每两年翻3倍

通信墙：过去20年中，硬件的峰值计算能力增加了90,000倍但是内存/硬件互连带宽却只是提高了30倍。

设计墙：卷积，transformer属于算力类模型，搜推属于访存类模型。不同的硬件架构对不同负载的亲和性不同，系统设计上难以调和。对DSA做好未来负载洞察至关重要。

4. 业界加速库介绍

5. MindSpeed的主要特性

① 新增昇腾亲和代码分支

② 集成昇腾融合算子：将小算子融合成一个大算子，通过减少算子下发的次数，提升了算子的性能

③ 新增昇腾自研并行加速技术

④ 提供原生最优分布式算法，使能集群并行最优

⑤ 支持API调用和源码优化两种调用方式

⑥ 计算通信并行优化

⑦ PP维度和DP维度的通信掩藏

⑧ 选择性重计算策略与避免峰值内存竞争

⑨ MoE并行方案

分层ALL2ALL

6. 总结