1. EM算法的导出

为什么EM算法能近似实现对观测数据的极大似然估计呢？下面通过近似求解观测数据的对数似然函数的极大化问题来导出EM算法，由此可以清楚地看出EM算法的作用。

我们面对一个含有隐变量的概率模型，目标是极大化观测数据（不完全数据）Y关于参数θ的对数似然函数，即极大化

注意到这一极大化的主要困难是含有未观测数据并有包含和（或积分）的对数。

利用Jensen不等式得到其下界：

令

则

上式等价于EM算法的一次迭代，即求Q函数及其极大化（可参见学习笔记|EM算法介绍）。EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。

2. EM算法在无监督学习中的应用

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社