经验风险与结构风险

偏差与方差(bias and variance)

在回归问题中,我们用一个简单的线性模型来拟合样本,称为线性回归,如图1;或者用更复杂,高维的函数来拟合,比如二次函数得到图2,六次函数得到图3.

我们可以看出来, 六次函数完美地拟合了六个点,误差为0.但是,当我们用这样的拟合模型来进行预测的时候,效果反而不好.

通过观察我们发现,二次的模型也许能够更好地拟合这些样本分布.

虽然1,3图都不能很好地拟合真实分布,但是他们的问题是很不一样的.

我们暂且称图1的问题为偏差(bias),图3的问题为方差(variance).

一般误差与经验误差

我们来定义如下几个概念:

1.      一般误差:

指的是,我们使用拟合的模型,在任意样本下,得到的误差.也就是模型的真实误差,也称一般误差.

2.      经验误差:

指的是训练样本的误差,也就是上图中拟合函数对于这

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/40650705