《神经网络与PyTorch实战》——1.2.3　人工神经网络和深度学习

1.2.3　人工神经网络和深度学习

　　人工神经网络是最重要的机器学习模型之一。随着人工神经网络在诸多应用上的成果，人工神经网络已经成为业界普遍使用的机器学习方法。

　　通过本书开头对人工神经网络的介绍，我们已经对人工神经网络有了基本的认识。简而言之，人工神经网络就是将很多人工神经元连接起来，而每个人工神经元是由一个线性变换和一个非线性函数组成的。

　　神经网络最简单的情况是前馈神经网络（Feed-Forward Neural Network，FFNN）。前馈神经网络中，神经元可以分层排布。神经网络中神经元的层数称为神经网络的深度（depth）。例如，图1-8所示有3个神经网络，左上角的神经网络的4个神经元分2层排布，所以这个网络的深度为2；右边的神经网络的16个神经元分6层排布，所以这个神经网络的深度为6。通过比较这两个网络的深度，我们可以知道右边的网络比左边的网络深。

　　深度学习就是使用深度超过2的神经网络进行机器学习。在应用中使用的神经网络可能高达数千层。

　　神经网络中每一层的神经元个数可以认为是该层的宽度（width）。如图1-8所示，左上角的2层神经网络中，第1层有3个神经元，第2层有1个神经元；左下角的2层神经网络中，第1层有5个神经网络，第2层有1个神经网络。我们可以认为，图1-8左下角的神经网络比左上角的神经网络更宽。