定义（最大熵模型） 假设满足所有约束条件的模型集合为

定义在条件概率分布P(Y|X)上的条件熵为

最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最大化问题。

按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：

求解上述约束最优化问题所得的解就是最大熵模型学习的解。具体推导过程如下：

这里，将约束最优化的原始问题转换为无约束最优化的对偶问题。通过求解对偶问题求解原始问题。

最优化的原始问题是

对偶问题是

由于拉格朗日函数L(P,ω)是P的凸函数，原始问题的解与对偶问题的解是等价的。

ψ(ω)称为对偶函数。同时，将其解记作

具体地，求L(P,ω)对P(y|x)的偏导数

令

则

之后，求解对偶问题外部的极大化问题

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社