EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望；M步，求极大。所以这一算法称为期望极大算法，简称EM算法。

概率模型有时既含有观测变量，又含有隐含变量或潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法（可参见学习笔记|似然函数与极大似然估计）或贝叶斯估计法估计模型参数（可参见学习笔记|朴素贝叶斯法中的贝叶斯估计）。但是，当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

一般地，用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z连在一直称为完全数据，观测数据Y又称为不完全数据。假设给定观测数据Y，其概率分布是P(Y|θ)，其中θ是需要估计的模型参数，那么不完全数据Y的似然函数是P(Y|θ)，对数似然函数L(θ)=logP(Y|θ)；假设Y和Z的联合概率分布是P(Y,Z|θ)，那么完全数据的对数似然函数是logP(Y,Z|θ)。

EM算法：

输入：观测变量数据Y，隐变量数据Z，联合分布P(Y,Z|θ)，条件分布P(Z|Y,θ)；

输出：模型参数θ。

（4）重复第（2）步和第（3）步，直到收敛。

下面关于EM算法作几点说明：

步骤（1） 参数的初值可以任意选择，但需要EM算法对初值是敏感的。

或

则迭代停止。

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社