机器学习4.1-随机梯度下降、批量梯度下降法

前言

在梯度下降法中，批量指的是用于单次迭代中计算梯度的样本总数；即，梯度下降法中批量是指整个数据集。

如果使用大数据集，数据集包含百万级、千万级或亿级的样本；包含海量特征。因此，一个批量可能相当巨大，单次迭代就可能花费很长时间进行计算。

通常，批量大小越大，出现冗余的可能性就越高。一些冗余可能有助于消除杂乱的梯度，但超大批量所具备的预测价值往往并不比大型批量高。

随机梯度下降（SGD）

背景

梯度下降法在大数据集，会出现费时、价值不高等情况。如果我们可以通过更少的计算量得出正确的平均梯度，效果更好。通过从数据集中随机选择样本，来估算出较大的平均值。

原理

它每次迭代只使用一个样本（批量大小为1）。

如果进行足够的迭代，SGD也可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。

批量梯度下降法（BGD）

它是介于全批量迭代与随机选择一个迭代的折中方案。全批量迭代（梯度下降法）；随机选择一个迭代（随机梯度下降）。

它从数据集随机选取一部分样本，形成小批量样本，进行迭代。小批量通常包含10-1000个随机选择的样本。BGD可以减少SGD中的杂乱样本数量，但仍然波全批量更高效。

三种方法中，通常采用批量梯度下降法类迭代模型。