1. 泛化误差

机器学习的泛化能力是指由学习到的模型对未知数据的预测能力，是模型本质上的重要性质。现实中采用最多的办法是通过测试误差来评价模型的泛化能力。但这种评价是依赖于测试数据集的。由于测试数据集的有限性，由此得到的评价结果很可能是不可靠的。本次学习试图从理论上对模型的泛化能力进行分析。 首先给出泛化误差的定义。如果学到的模型是f，那么用这个模型对未知数据预测的误差即为泛化误差：

泛化误差反映了模型的泛化能力，如果一种机器学习的模型比另一种机器学习的模型具有更小的泛化误差，那么这种方法就更有效。事实上，泛化误差就是所学习到的模型的期望风险。

2. 泛化误差上界

机器学习的泛化能力分析往往是通过研究泛化误差的概率上界进行的，简称为泛化误差上界。具体来说，就是通过比较两种机器学习的泛化误差上界的大小来比较它们的优劣。泛化误差上界通常具有以下性质:它是样本容量的函数，当样本容量增加时，泛化上界趋于0：它是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。

参考文献：

【1】统计学习方法（第2版），李航著，清华大学出版社