第3章

Machine Learning: An Algorithmic Perspective, Second Edition

神经元、神经网络和线性判别

我们花了足够的时间研究机器学习的概念，现在是时候在实践中看到它了。这个过程将从学习的可能性说起，典型例子就是我们的大脑。

3.1　大脑和神经元

对于动物来说，学习是在大脑中发生的。如果我们理解了大脑是如何工作的，那么可能就会有一些可以借鉴到机器学习系统中的东西。尽管我们的大脑是一个令人叹为观止、强大且复杂的系统，但是组成它的基本结构是非常简单和易于理解的。很快我们将会对其进行研究，但是值得注意的是，在计算层面上，大脑做的正是我们想要其完成的工作。它处理噪声，甚至是矛盾的数据，并且能够以很快的速度从非常高维的数据（比如图像）中得到通常都是正确的解。对于一个重约1.5千克，每时每刻都在失去自身的一部分（随着年龄的增长，神经元以一种令人印象深刻同时令人沮丧的速率死亡），但是表现没有明显下降的东西来说，这是多么的神奇（用术语描述，这就意味着它具有鲁棒性（robust））！

那么它究竟是怎样工作的呢？在大部分层面上，我们不是很确定，但本书仅仅关注最基本的层次，即大脑的处理单元。它们是被称为神经元（neuron）的神经细胞，其数量巨大（通常给出的数据是1014个），并且种类繁多，这取决于特定的任务。然而，对于所有种类的神经元来说，它们的基本操作都是相似的：通过大脑流质里面的化学递质来升高或降低神经元内部的电位。如果这一跨膜电位（membrane potential）达到某个阈值，神经元就会放电（spike）或者激活（fire），并且一个固定强度和持续时间的脉冲会向下传递到轴突（axon）。轴突分散形成树枝状，与许多其他神经元相连，其中的每一个连接都是在一个突触（synapse）中。每个神经元一般都会与数千个其他神经元相连，因此据估计大脑***有约1014个突触。在激活之后，神经元在下一次激活之前需要一段时间来恢复能量（不应期（refractory period））。

每个神经元都可以被看作一个独立的处理器，它执行非常简单的运算：决定是否激活。这使大脑成为一个由1011个处理单元组成的巨大的并行计算机。如果那就是对于大脑来说所有的内容，那么我们就能够在计算机中进行模拟，从而在计算机中实现动物或是人类的智能。这是强AI（strong AI）的观点。本书的目标并不在于建立一些宏伟的东西，而只是想要编写出能够学习的程序。那么大脑中学习是如何进行的呢？这里最重要的概念是可塑性（plasticity）：改变神经元间突触连接的强度（strength），或是建立新的连接。我们对于突触改变的机制还不是完全了解，在1949年，Donald Hebb首先提出了一个假说，这也是我们将要讨论的内容。

3.1.1　Hebb法则

Hebb法则认为突触连接强度的变化与两个相连神经元激活的相关性成比例。如果两个神经元始终同时激活，那么它们之间连接的强度会变大。反之，如果两个神经元从来不同时激活，那么它们之间的连接会消失。这里的思想在于如果两个神经元都会对某件事做出反应，那么它们应该相连。我们来看一个生活中常见的例子：假设你有一个能够辨认出你的祖母的神经元（它很可能从大量的视觉处理神经元处得到输入，但不必关注于此）。现在假如你的祖母每次来拜访的时候都会带给你一块巧克力，那么某些由于你喜爱巧克力的味道而开心的神经元同样会处于兴奋状态。既然这些神经元同时激发，它们之间就会相连，并且随着时间的推移，连接会变得越来越强。最终，当你见到祖母，即使是在照片中，也足够使你想到巧克力。是不是听上去很熟悉？巴普洛夫（Pavlov）使用这个被称为经典条件反射（classical conditioning）的思想来训练小狗。每次给狗提供食物的时候，同时会有铃声响起，这样分泌唾液的神经元和听到铃声的神经元就会同时激活，因此它们之间的连接会变得很强。随着时间的流逝，对铃声做出反应的神经元以及那些引起反射性分泌唾液的神经元之间的突触强度会变得足够强，以至于只要听到铃声，就会激活分泌唾液的神经元。

这种当神经元同时激活，它们之间会形成突触连接并且能变得更强，从而形成神经元集合的思想还有别的名称。比如它也被称为长时程增强效应（long-term potentiation）和神经可塑性（neural plasticity），并且这似乎与实际的大脑也有联系。