AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。

AdaBoost的训练误差界定理： AdaBoost算法最终分类器的训练误差界为

这里

因为

所以

二类分类问题AdaBoost的训练误差界定理：

证明：

因为

所以

至于不等式

这表明在此条件下AdaBoost的训练误差是以指数速率下降的。这一性质当然是很有吸引力的。

注意，AdaBoost算法不需要知道下界γ，这下是Freund与Schapire设计时所考虑的。与一些早期的提升方法不同，AdaBoost具有适应性，即它能适应弱分类器各自的训练误差率。这也是它的名称（适应的提升）的由来，Ada是Adaptive的简写。

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社