机器学习概念

过拟合(高方差)

当我们的数据无法满足我们模型的复杂度时会过拟合，也就是我们的变量过多,模型很复杂，导致在我们的训练集中我们的将我们的训练样本拟合的非常好，但是在测试样本中测试的准确率比较低，模型的泛化能力差，就会出现过拟合的问题。

通俗一点地来说过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差

解决方法：正则化，增加训练样本，清洗数据(数据可能不纯)

欠拟合(高偏差)

欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据

解决方法：添加其他特征项(可能因为特种项不足)，添加多项式特征(例如将线性模型通过添加二次项或者三次项使模型泛化能力更强),减少正则化参数

欠拟合-过拟合与偏差-方差关系

名称 欠拟合 过拟合 备注

偏差 一定大 较大 主要针对验证机
方差 一定小 一定大 主要针对验证机

  

 

  
1
  
2
  
3
  
4
 

方差(Variance)：

描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。

偏差(Bias):

描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/91369965