【AI框架核心技术】这个系列，主要是跟大家一起探讨和学习人工智能、深度学习的计算机系统设计，而整个系统是围绕着我在工作之余所积累、梳理、构建关于AI框架的一些核心技术内容。

AI系统里面，其实大部分开发者并不关心AI框架或者AI框架的前端，因为AI框架作为一个工具，最大的目标就是帮助更多的算法工程师快速实现他们的算法想法。不过呢，有着这么一群AI框架的开发工程师，希望梳理相关的知识点，帮助更多的系统工程师，快速对算法进行落地部署和性能优化的AI框架有个更全面和深刻的理解。

系列内容

AI是最新的电力，大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的转变。显然，AI的各个分支中，发展的最为迅速的就是深度学习。因此现在，深度学习是在科技世界中广受欢迎的一种技巧。

通过《AI框架核心技术》这个系列内容，以及这门课程后面的几门课程，你将获取并且掌握的技能：

• 在《AI框架基础》第一门课程中，您将了解到AI框架的具体作用，可以提供给开发者一个编写神经网络模型的库和提供丰富的API。以及近几年AI框架快速发展的历史和变迁。在这门课程的结尾，您将了解到不同的编程范式对AI框架的影响和对用户习惯的影响。
  

• 在《自动微分》中，你将深入了解微分和微分的不同方式，其中自动微分是微分很重要的实现方法之一，对于传统的几种微分方式有其独特的优势，这里面将会深入自动微分的正反向模式，不过在代码具体实现却有千差万别，于是我们将会手把手去用代码实现2种不同模式的自动微分。
  

• 在《计算图》这一门课程，您将掌握AI框架的核心表示：计算图。这里主要了解到什么是计算图和对计算图如何表示以外，还会了解到计算图跟自动微分的关系，如何表示反向模型和梯度，最后您还可以了解计算图中最难表达的控制流和动静统一的核心技术。
  

• 最后在《分布式并行》课程中，我们将会分为《分布式集群》、《分布式算法》、《分布式并行》3大内容进行展开，每一个内容都较为独立，于是最后我们将会把上面的技术串起来。

然这里不是打广告，而是希望跟所有关注开源项目的好朋友一起探讨研究，共同促进学习讨论，也欢迎各位专家和朋友多拍拍砖，多提点意见。相关的材料都开源在这里：

https://github.com/chenzomi12/DeepLearningSystem/tree/main/Frontend

具体大纲

1 AI框架基础

1. 基本介绍  video

2. AI框架有什么用  video

3. AI框架之争（框架发展）video

4. 编程范式（声明式&命令式）video

2. 自动微分

1. 基本介绍 video

2. 什么是微分  video

3. 正反向计算模式 video

4. 三种实现方法 video

5. 手把手实现正向微分框架 video

6. 亲自实现一个PyTorch video

7. 自动微分的挑战&未来 video

3. 计算图

1. 基本介绍 video

2. 什么是计算图 video

3. 计算图跟自动微分关系 video

4. 图优化与图执行调度 video

5. 计算图的控制流机制实现 video

6. 计算图未来将会走向何方？video

4. 分布式集群

1. 基本介绍 video

2. AI集群服务器架构 video

3. AI集群软硬件通信 video

4. 集合通信原语  video

5. AI框架分布式功能 video

5. 分布式算法

1. 大模型训练的挑战 video

2. 算法：大模型算法结构 video

3. 算法：亿级规模SOTA大模型 video

6. 分布式并行

1. 基本介绍 video

2. 数据并行 video

3. 模型并行之张量并行 video

4. MindSpore张量并行 video

5. 模型并行之流水并行 video

6. 混合并行 video

7. 分布式训练总结 video

完结，撒花！