学习笔记|最大熵模型与极大似然估计

举报
darkpard 发表于 2021/11/19 22:14:41 2021/11/19
【摘要】 对偶函数的极大化等价于最大熵模型的极大似然估计。推导过程可以参考学习笔记|似然函数与极大似然估计 和学习笔记|logistic回归 。(上述推导可参见学习笔记|最大熵模型的学习)再看对偶函数ψ(ω)。(上述推导依据可参见学习笔记|最大熵模型的学习)比较上述结果可得:因此,最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。最大熵模型与Logistic回归模型有类似的形式,它们又称...

对偶函数的极大化等价于最大熵模型的极大似然估计。

推导过程可以参考学习笔记|似然函数与极大似然估计 学习笔记|logistic回归 

(上述推导可参见学习笔记|最大熵模型的学习

再看对偶函数ψ(ω)。

(上述推导依据可参见学习笔记|最大熵模型的学习

比较上述结果可得:

因此,最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。

最大熵模型与Logistic回归模型有类似的形式,它们又称为对数线性模型。模型学习就是在给定的训练条件下对模型进行极大似然估计或正则化的极大似然估计。

参考文献

【1】统计学习方法(第2版),李航著,清华大学出版社

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。