考虑加法模型

在给定训练数据及损失函数L(y,f(x))的条件下，学习加法模型f(x)成为经验风险极小化即损失函数极小化问题：

通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的想法是：因为学习的是加法模型，如果能够从前向后，每一步只学习一个基本函数及其系数，逐步逼近优化目标函数，那么就可以简化优化的复杂度。具体地，每步只需优化如下损失函数：

前向分步算法：

输出：加法模型f(x)。

（2）对m=1,2,...,M

（a）极小化损失函数

（b）更新

（3）得到加法模型

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社