MCMC(一)蒙特卡罗方法

　　　　MCMC(二)马尔科夫链

　　　　MCMC(三)MCMC采样和M-H采样

　　　　MCMC(四)Gibbs采样

　　　　在MCMC(三)MCMC采样和M-H采样中，我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样，这就是我们下面讲到的Gibbs采样。

1. 重新寻找合适的细致平稳条件

　　　　在上一篇中，我们讲到了细致平稳条件：如果非周期马尔科夫链的状态转移矩阵PP和概率分布π(x)π(x)对于所有的i,ji,j满足：

π(i)P(i,j)=π(j)P(j,i)π(i)P(i,j)=π(j)P(j,i)

　　　　则称概率分布π(x)π(x)是状态转移矩阵PP的平稳分布。

　　　　在M-H采样中我们通过引入接受率使细致平稳条件满足。现在我们换一个思路。

　　　　从二维的数据分布开始，假设π(x1,x2)π(x1,x2)是一个二维联合数据分布，观察第一个特征维度相同的两个点A(x(1)1,x(1)2)A(x1(1),x2(1))和B(x(1)1,x

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/97754195