ML与Information:机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略

举报
一个处女座的程序猿 发表于 2021/04/02 02:11:42 2021/04/02
【摘要】 ML与Information:机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略     目录 ML与信息论 ML与熵 1、熵的基础知识 2、熵与分布的关系 3、最大熵模型与Logistic/Softmax回归 相关文献推荐       ML与信息论 更新……   ML与熵 1、熵的基础知识 (1)、...

ML与Information:机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略

 

 

目录

ML与信息论

ML与熵

1、熵的基础知识

2、熵与分布的关系

3、最大熵模型与Logistic/Softmax回归

相关文献推荐


 

 

 

ML与信息论

更新……

 

ML与熵

1、熵的基础知识

(1)、相对熵:两个KL散度的区别:
1)、绿色曲线是真实分布p的等高线;红色曲线是使用近似p(z1,z2)=p(z1)p(z2)得到的等高线。
2)、蓝色曲线是真实分布p的等高线;红色曲线是单模型近似分布q的等高线。

(2)各种熵之间的关系图

 

2、熵与分布的关系

(1)、两点分布的熵

(2)、三点分布的熵

 

3、最大熵模型与Logistic/Softmax回归

Logistic/Softmax回归的后验概率

最大熵模型的后验概率

 

相关文献推荐

《A Brief MaxEnt Tutorial》 Adam Berger
《A simple Introduction to Maximum Entropy Models for Natural Language Processing》Adwait Ratnaparkhi
《Learning to parse natural language with maximum entropy models》 Adwait Ratnaparkhi
《统计学习方法》李航,清华大学出版社,2012年
《Elements of Information Theory》 Cover & Thomas
《A maximum entropy approach to natural language processing 》Adam Berger

 

 

文章来源: yunyaniu.blog.csdn.net,作者:一个处女座的程序猿,版权归原作者所有,如需转载,请联系作者。

原文链接:yunyaniu.blog.csdn.net/article/details/83513888

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。