《机器学习：算法视角（原书第2版）》 —3.1.3　McCulloch和Pitts神经元模型的局限性

3.1.3　McCulloch和Pitts神经元模型的局限性

一个值得考虑的问题就是，这样一个神经元模型在多大程度上与现实情况是相符的呢？答案是：与现实不太相符。现实生活中的神经元比这个要复杂得多。它们的输入不一定是线性相加的，可能存在非线性的相加形式。然而，最显著的不同点在于现实中的神经元不会给出单一的输出响应，而是给出一个电位序列（spike train），即一个脉冲序列，并且正是这个电位序列对信息进行编码。这意味着神经元事实上并不像阈值装置那样做出响应，而是以一种连续的方式给出分等级的输出。激活与不激活的过渡依然存在，但是激活的阈值会随时间改变。这是因为神经元是生物装置，它的神经递质的量（影响放电所需的电荷的量）会随着当前机体状态的变化而发生改变。此外，神经元不会根据电脑的时钟脉冲去顺序地更新，而是随机地（异步（asynchronously））更新，然而在我们的许多模型中，都是根据时钟脉冲来更新神经元。当然也存在着异步的神经网络模型，但是对实际应用来说，我们将坚持使用根据时钟脉冲更新的算法。

注意到权重wi可以是正的，也可以是负的。这等价于兴奋性（excitatory）的连接和抑制性（inhibitory）的连接，它们分别使得神经元更可能激活和更不可能激活。这两种类型的突触都存在于大脑之中，但是对于McCulloch和Pitts的神经元来说，权重可以由正转为负，或是由负转为正，这从生物学角度来说是不可能的——突触连接要么是兴奋性的，要么是抑制性的，不存在从一种到另一种的转换。此外，现实中的神经元在反馈环中存在一个连接到其自身的突触，但是这在我们的神经网络模型中通常不会出现。同样，这里也存在例外，但我们不会去讨论它。

我们可以改进模型以包含上述特征，但是现有的模型已经足够复杂了，并且McCulloch和Pitts的神经元已经提供了类似于大脑活动的许多吸引人的行为，比如由McCulloch和Pitts神经元组成的网络能够记忆图像，以及学会表示函数和分类数据，这些我们将在下面几章中看到。在最后一章中，我们将看到一个神经元的简单模型，它模拟了神经元最重要的功能——决定是否激活——并忽略了令人讨厌的生物学问题，如化学浓度、不应期等。模型只有在学习时才能用它来理解发生了什么，或者使用模型来解决某种问题时才有用。虽然我们试图理解的学习将是机器学习（machine learning）而不是动物学习，但我们将在本章中同时尝试两者。