提升树利用加法模型与前向分步算法实现学习的优化过程（提升树和前向分步算法可分别参见学习笔记|AdaBoost的扩展之二——提升树和学习笔记|AdaBoost的扩展之一——前向分步算法）。当损失函数是平方损失和指数损失函数时，每一步优化是简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，Freidman提出了梯度提升算法。这是利用最速下降法的近似方法，其关键是利用损失函数的负梯度在当前模型的值

作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

梯度提升算法：

（1）初始化

（2）对m=1,2,...,M

（a）对i=1,2,...,N，计算

（c）对j=1,2,...,J，计算

（3）得到回归树

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社