由于牛顿法对目标函数具有很高的要求。它要求目标函数必须是二阶可导。并且，牛顿法的每一次迭代都需要计算Hessian矩阵及其逆矩阵，计算量比较大，甚至可能由于逆矩阵不存在而无法计算。拟牛顿法就是牛顿法的近似解法，学习笔记|线性可分支持向量机学习的间隔最大算法、学习笔记|最大熵模型学习的拟牛顿法、学习笔记|logistic回归等处都有涉及。

1. 拟牛顿条件

对x求偏导可得

记

那么

进一步令

则有

这就是拟牛顿条件，根据构造逼近矩阵的不同，拟牛顿法又分DFP法、BFGS法等。

2. DFP法

DFP法的核心思想在于通过迭代的方法，逐步逼近Hessian矩阵。在DFP矩阵中，逼近Hessian矩阵的矩阵记为D，它的迭代公式为

其中，向量u、v为待定向量。

由于的维度是

为了简便，令

于是

再令

DFP算法流程：

令：

6）k=k+1，转第2）步。

3. BFGS法

在BFGS法中，用B表示Hessian矩阵的近似矩阵，它的迭代公式

于是

同样令

于是有

再令

根据Sherman-Morrison公式

BFGS算法流程：

3）解方程组

令：

7）k=k+1，转第3）步。

BFGS算法流程也可以参见学习笔记|最大熵模型学习的拟牛顿法）。

参考文献

1.https://blog.csdn.net/songbinxu/article/details/79677948
2.https://www.cnblogs.com/liuwu265/p/4714396.html