定义（最大熵模型） 假设满足所有约束条件的模型集合为

定义在条件概率分布P(Y|X)上的条件熵为

那么结合学习笔记|最大熵模型中的例子，我们如何来理解最大熵模型？

1. 掷骰子的例子

为了更好地理解最大熵模型，我们先来看一个掷骰子的例子（它的原型和基本思路来源于参考文献2）。

则联合分布的经验分布:

X边缘分布的经验分布：

如果不考虑上述约束，按照最大熵模型，即求解

由于x1和x2是相互独立的事件。因此，上述最优化问题可以拆分成：

和

求解上述最优化问题可以得到：

因此，上述最优化问题将变为：

和

因为

所以

求解最优化问题可以得到

2. 学习笔记|最大熵模型 中的例子

此时，再回过头来看学习笔记|最大熵模型 中的例子就比较好理解。

由于只有一个随机变量，条件概率即概率本身，因此当无约束时，它可以写成以下最优化问题。

很容易看出它的解就是平均分布。

最优化结果不再赘述。

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社
2.https://www.zhihu.com/question/24094554