学习笔记|EM算法的收敛性
【摘要】 EM算法提供一种近似计算含有隐变量概率模型的极大似然估计的方法。EM算法的最大优点是简单性和普适性。我们很自然地要问：EM算法得到的估计序列是否收敛？如果收敛，是否收敛到全局最大值或局部极大值？下面给出关于EM算法收敛性的两个定理。证明： 由于取对数有（可参见学习笔记|EM算法介绍及EM算法的导出及其在无监督学习中的应用）令于是对数似然函数可以写成这里的不等号由Jensen不等式得到。由此可...
EM算法提供一种近似计算含有隐变量概率模型的极大似然估计的方法。EM算法的最大优点是简单性和普适性。我们很自然地要问：EM算法得到的估计序列是否收敛？如果收敛，是否收敛到全局最大值或局部极大值？下面给出关于EM算法收敛性的两个定理。
证明： 由于
取对数有
（可参见学习笔记|EM算法介绍及EM算法的导出及其在无监督学习中的应用）
令
于是对数似然函数可以写成
这里的不等号由Jensen不等式得到。
由此可知
参考文献
1.统计学习方法（第2版），李航著，清华大学出版社
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）