《机器学习：算法视角（原书第2版）》 —3.3.2　输入偏置

3.3.2　输入偏置

当我们讨论McCulloch和Pitts的神经元时，我们给每个神经元一个激活阈值θ，以确定如果它激活，它的值至少为多少。这个阈值应当是可调整的，这样我们才可以改变神经元激活所需要的值。假设一个神经元的所有输入都是0，那么它的权重将变得无关紧要（因为0与任何数相乘都是0），我们唯一能控制该神经元激活与否的方法就是调整它的阈值。如果这个值是不可调整的，那么在所有的输入都是0的时候，若我们想要其中的一个神经元激活，而另一个神经元不激活，就会出现问题。无论我们把权重设为多少，这两个神经元都会做同样的动作，因为它们有相同的阈值，并且输入都是0。

现在的困难在于改变阈值，这意味着需要为一个额外的参数编写代码，并且我们还不是很清楚如何按照先前得出的改变权重的方法来相应地调整阈值。幸运的是，有一个巧妙的方法可解决这个问题。假设我们把神经元的阈值固定为0。现在，我们给神经元增加一个额外的输入权重，并且使得对应于该权重的输入为一定值（这个值实际上可以是正数或者为负，本书使用了-1，）。在更新算法中也包含这个权重（与其他所有的权重一样），这样的话，已有的算法也不需要别的改进。因此，当输入全部为0的时候，由于加在额外权重上的输入永远为-1，我们就可以根据需要调整这个权重，使得神经元激活或者不激活。这个输入通常被称作偏置（bias）节点，并且它的权重通常以0为下标，这样与第j个神经元相连的权重就记作w0j。