混合高斯模型（GMM）

1 GMM基础
高斯混合模型（GMM）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。
为什么GMM可以拟合出任意类型的分布？
不仅GMM可以，只要性质不太奇怪的混合模型一般都能近似任意分布。这个思想和泰勒展开、傅里叶变换是类似的，任何波形都可以用正弦波叠加表示，而且频率还是基频的整数倍。
利用高斯混合模型进行聚类，本质上可以这么理解：
数据的分布由若干高斯分布组合而成，需要通过传入的无标记数据，求解出各个高斯模型的参数和各个模型的先验概率！不同于一般利用最大似然估计参数的情况在于由于传入的数据无标记，也就是说缺少了观测数据的类别这个隐藏信息，所以这个隐藏信息的概率分布也成了估计内容之一，从而无法通过求偏导进行梯度下降来求解，于是利用了EM。
设有随机变量X，则混合高斯模型可以用下式表示：

其中N(x∣μk,Σk)称为混合模型中的第k个分量。

其中，µ为高斯分布的均值向量，ε为高斯分布的协方差矩阵。
若有三个聚类，可以用三个二维高斯分布来表示，那么分量数K=3。 πk是混合系数，且满足：

可以认为πk就是每个分量N(x∣μk,Σk)的权重。

2 GMM的隐变量
隐变量是一个辅助变量，GMM的隐变量表示的是样本x属于哪一个高斯分布。
隐变量是一个向量，并且这个向量中只有一个元素取值为1，其它的都是0。因为假设只有一个高斯分量被选中并产生观测数据。然而我们的GMM的一个观测数据在直观上应该是每个高斯分量都有产生，而不是由一个高斯分量单独生成，只是重要性不同（由系数控制）
假设我们知道数据可以分为两类，在随机抽取一个数据点，不知道这个数据来自第一类还是第二类，类比GMM中K1、K2的高斯分模型，不知道数据来自哪个分模型。
隐变量就是为了描述数据归属看不见这个现象的。
隐变量是一个离散的随机变量。
GMM中K1、K2、K3类比箱子1、箱子2、箱子3，类比HMM中状态1、状态2、状态3。

3 GMM训练问题
极大似然估计、EM

1. 极大似然估计
   利用不完全数据（只有观测数据）的边缘分布。
   给定一些观测数据X={x}，假设{x}符合混合高斯分布：
   
   

求解一组混合高斯模型的参数使得：

对目标函数取对数：

对数似然函数分别对参数Π，µ，ε求导，使得导数等于0，来更新参数。
目标函数是和的对数，这时候求导比较困难，形式复杂，同时，还有个问题就是求一个参数的时候会依赖其他参数的值，但是其他参数的值其实也是未知的，也是待估计的。因此需要EM算法。
4 EM算法深入理解