AI计算模式概述与经典模型结构
【摘要】 引言了解AI计算模式对AI芯片设计和优化方向至关重要。本节将会通过模型结构、压缩、轻量化和分布式几个内容，来深入了解AI算法的发展现状，引发关于AI计算模式的思考，重点围绕经典网络模型和模型量化压缩两方面进行展开。经典模型结构设计与演进神经网络是AI算法基础的计算模型，灵感来源于人类大脑的神经系统结构。它由大量的人工神经元组成，分布在多个层次上，每个神经元都与下一层的所有神经元连接，并具有可...
引言
了解AI计算模式对AI芯片设计和优化方向至关重要。本节将会通过模型结构、压缩、轻量化和分布式几个内容，来深入了解AI算法的发展现状，引发关于AI计算模式的思考，重点围绕经典网络模型和模型量化压缩两方面进行展开。
经典模型结构设计与演进
神经网络是AI算法基础的计算模型，灵感来源于人类大脑的神经系统结构。它由大量的人工神经元组成，分布在多个层次上，每个神经元都与下一层的所有神经元连接，并具有可调节的连接权重。神经网络通过学习从输入数据中提取特征，并通过层层传递信号进行信息处理，最终产生输出。这种网络结构使得神经网络在模式识别、分类、回归等任务上表现出色，尤其在大数据环境下，其表现优势更为显著。
对一个神经网络来说，主要包含如下几个知识点，这些是构成一个神经网络模型的基础组件：
-
神经元（Neuron）：神经网络的基本组成单元，模拟生物神经元的功能，接收输入信号并产生输出，这些神经元在一个神经网络中称为模型权重。
-
激活函数（Activation Function）：用于神经元输出非线性化的函数，常见的激活函数包括Sigmoid、ReLU等。
-
模型层数（Layer）：神经网络由多个层次组成，包括输入层、隐藏层和输出层。隐藏层可以有多层，用于提取数据的不同特征。
-
前向传播（Forward Propagation）：输入数据通过神经网络从输入层传递到最后输出层的过程，用于生成预测结果。
-
反向传播（Backpropagation）：通过计算损失函数对网络参数进行调整的过程，以使网络的输出更接近预期输出。
-
损失函数（Loss Function）：衡量模型预测结果与实际结果之间差异的函数，常见的损失函数包括均方误差和交叉熵。
-
优化算法（Optimization Algorithm）：用于调整神经网络参数以最小化损失函数的算法，常见的优化算法包括梯度下降、自适应评估算法（Adaptive Moment Estimation）等。
神经网络的产生包含训练和推理两个阶段。整体来说，训练阶段的目的是通过最小化损失函数来学习数据的特征和内在关系，优化模型的参数；推理阶段则是利用训练好的模型来对新数据做出预测或决策。
下图是一个经典的图像分类的卷积神经网络结构，网络结构从左到右有多个网络模型层数组成，每一层都用来提取更高维的目标特征，最后通过一个softmax激活函数达到分类输出映射。
接下来我们来了解一下神经网络中的主要计算范式：权重求和。下图是一个简单的神经网络结构。
结论
经典模型结构的设计与演进为AI计算模式的理解奠定了基础。通过对神经网络的基本组件和工作原理的深入了解，我们能够更好地把握AI芯片设计和优化的方向。
下图是一个一层 5x5 的 Feature Map 的卷积过程，橙色表示 3x3 的 Kernel，左侧浅色方框和 Kernel 相乘并累加和，得到右侧浅蓝色标记的一个输出值。Same 和 Valid 两种 Padding 模式得到了不同的 Feature Map 输出。
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）