《卷积神经网络与计算机视觉》 —3.4.2神经元的计算模型

3.4.2神经元的计算模型

McCulloch和Pitts 在1943年提出了一种生物神经元的简单数学模型，称为阈值逻辑单元（TLU）。它由一组传入连接组成，这些连接为该单元提供来自其他神经元的激活。使用由{w}表示的一组权重对这些输入进行加权。然后处理单元对所有输入求和，并应用非线性阈值函数（也称为激活函数）来计算输出。然后将得到的输出传输到其他连接的神经元。我们可以如下表示McCullochPitts神经元的操作

其中，b是阈值，wi表示突触权重，xi表示神经元的输入，f(·)是非线性激活函数，对于最简单的情况，f是阶跃函数，当输入小于0时（即，∑ni=1wixi+b小于激活阈值），给出0，当输入大于0时，在给出1。在其他情况下，激活函数可以是sigmoid、tanh或者ReLU（一个平滑的阈值操作，见第4章）。

McCullochPitts神经元是一个非常简单的计算模型。然而，它们已被证明可以很好地逼近复杂函数。McCulloch和Pitts指出，由这些神经元组成的网络可以执行通用计算。神经网络的通用计算能力确保了它们仅使用有限数量的神经元来建模非常丰富的连续函数集的能力。 这个事实被正式称为神经网络的“万能近似定理”。与McCullochPitts模型不同，最先进的神经元模型还包含其他功能，如随机行为和非二进制输入和输出。