Logistic回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化方法适用，保证能找到全局最优解。

IIS，全称improved iterative scaling，中文名改进的迭代尺度法，是适用于求解以似然函数为目标的最优化问题（如最大熵模型学习）的方法之一。

已知最大熵模型为

对数似然函数为

（上述结果的推导过程可参见学习笔记|最大熵模型与极大似然估计）

所以，对∀x>0，有f(x)≥0，即-logx≥1-x。

因此，

将上式记为A(δ|ω)。

于是有

即A(δ|ω)是对数似然函数改变量的一个下界。

（推导依据可参见学习笔记|凸函数的定义与性质）

因此

将上式记为B(δ|ω)。

于是得到

这里，B(δ|ω)是对数似然函数改变量的一个新的（相对不紧的）下界。

IIS算法：

（2）对每一i∈{1,2,...,n}

的解，这里，

（3）如果不是所有ω都收敛，重复步（2）。

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社