• 过拟合：学习器把训练样本学的“太好了”，已经把训练样本自身的一些特点当作了所有潜在样本都具有的一般性质，这样就会导致泛化性能下降。

• 欠拟合：对训练样本的一般性质尚未学好。

有多种因素导致过拟合，其中最常见的就是学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，欠拟合是由于学习能力底下低下造成的。欠拟合比较容易克服，例如在决策树中扩展分支、在神经网络学习中增加训练轮次等；而过拟合很难解决，而且是无法彻底避免的，我们所能做的只是“缓解”，或者说减小其风险。

2、评估方法

在讲评估方法前，我们先来回顾一下训练集和测试集的概念。

大家从小到大肯定经过无数次期末考试了，对考试一定不会陌生。假设这样一个场景：在考试前，老师发给大家历年的试卷（训练集），让大家回去复习，然后考试时的试卷（测试集）上的题目全部是原题。

训练样本相当于老师给同学们练习的习题，测试过程相当于考试。显示，如果测试样本被用来训练了，那得到的将是过于“乐观”的估计结果，人均90不是梦。（像极了本科的期末考试）

2.1、留出法

留出法直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即S∪T=D,S ∩ T=∅。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

以二分类任务为例，假定D包含1000个样本，将其划分为S包含700个样本，T包含300个样本，用S进行训练后，如果模型在T上有90个样本分类错误，则错误率为(90/300) x 100%=30%，相应的，精度为1-30%=70%。所以我们可以说这个模型的精度为70%，不能说成准确率哦，后面会谈到准确率。

2.2、交叉验证法

它的思想就是将数据集D分成k个大小相似的互斥子集，即D=D1∪D2∪…U Dk，其中每个子集的交集都为∅。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样就得到了k组训练/测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。

交叉验证法评估结果的稳定性和真实性很大程度上取决于k的取值，所以通常把交叉验证法称为“k折交叉验证”，k的常用取值是10，此时称为10折交叉验证。

2.3、自助法

给定包含m个样本的数据集D，我们对它进行采样产生数据集D’:每次随机从D中选出一个样本，拷贝到D’中，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次，我们就得到了包含m个样本的数据集D’，这就是自助采样。

如果训练集中的样本没有在测试集中出现过，那么这样的测试结果称为“包外估计”。

2.4、调参与最终模型

大多数学习算法都有些参数（parameter）需要设定，参数配置不同，学得模型的性能往往有显著差别。因此，在进行模型评估与选择时，除了要对适用算法进行选择，还需要对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”。（parameter tuning）

我们已经知道训练集和测试集的概念了，下面来介绍下验证集。

模型评估与选择中用于评估测试的数据集称为“验证集”，也就是说在调参过程中，用来测试模型性能的数据集就叫做验证集，换句话说，验证集就是用来调参和模型选择的。

3、性能度量

要评估学习器 f 的性能，就要把学习器预测结果f(x)与真实标记y进行比较。
这一节大家掌握混淆矩阵就可以了，关于ROC、AUC和代价曲线等，稍微了解即可。

查准率(precision)：又称“准确率”，用P表示，关心我们选出的西瓜中有多少是好瓜。
查全率(recall)：又称“召回率”，用R表示，关心所有好瓜中有多少好瓜被我们挑了出来。

对于二分类问题，可将样例根据其真实学习类别与学习器预测类别的组合划分为真正例，假真例，真反例，假反例四种情形，令TP、FP、TN、FN表示其对应的样例数，显然有TP+FP+TN+FN=样例总数。分类结果的混淆矩阵如下：

这里的T和F是True和False的缩写，后面的P和N是Positive和Negative的缩写。

*****************记忆秘诀****************
所谓的真和假是根据真实情况和预测结果进行同或，
相同则为1（真），不同为0（假）;
所谓的正例和反例是根据预测结果来定。