EM算法的一个重要应用是高斯混合模型的参数估计。高斯混合模型应用广泛，在许多情况下，EM算法是学习高斯混合模型的有效方法。

1. 高斯混合模型

高斯混合模型定义： 高斯混合模型是指具有如下形式的概率分布模型：

称为第k个分模型。

一般混合模型可以由任意概率分布密度代替高斯分布密度。

2. 高斯混合模型参数估计的EM算法

1. 明确隐变量，写出完全数据的对数似然函数

j=1,2,...,N; k=1,2,...,K

于是，可以写出完全数据的似然函数：

那么，完全数据的对数似然函数为

因此，

1. 确定EM算法的M步

重复以上计算，直到对数似然函数值不再有明显的变化为止。

现将估计高斯混合模型参数的EM算法总结如下。

高斯混合模型参数估计的EM算法：

输出：高斯混合模型参数。

（1）取参数的初始值开始迭代；

（3）M步：计算新一轮迭代的模型参数

（4）重复第（2）步和第（3）步，直到收敛。

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社