深度学习拟合，欠拟合笔记

过拟合，欠拟合

过拟合（overfitting）：学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了。

欠拟合（underfitting）：学习能太差，训练样本的一般性质尚未学好。

下面是直观解释：

                                                                    《机器学习》--周志华

下面在那一个具体的例子： 如果我们有6个数据，我们选择用怎么样的回归曲线对它拟合呢？看下图

1. 可以发现得到的直线 y=b+a*x并不能较为准确的描述训练数据的形态，我们说这不是一个良好的拟合，这也叫做欠拟合

2. 如果我们再加入一个特征值x²，得到 y = a+b*x+c*x²，于是我们得到二阶多项式，一个稍好的拟合。

3. 最后我们直接用五阶多项式去拟合，发现对于训练样本可以很好的拟合，但是这样的模型对预测往往效果不是非常好，这叫做过拟合（overfitting）。

在这里我们可以发现，原来过拟合和欠拟合和模型复杂度是相关的，具体描述如下图

也就是说，在模型相对复杂时，更容易发生过拟合，当模型过于简单时，更容易发生欠拟合。