AI数学基础之信息论——华为AI学习笔记6

举报
darkpard 发表于 2022/02/05 21:50:30 2022/02/05
【摘要】 信息包括语音和文字等,在自然和社会中广泛存在。1. 信息熵香农:信息是用来消除随机不确定性的东西。小概率事件能够比大概率事件提供更多的信息。如果用f(p)代表信息量,则f(p)应该满足以下条件:它应该是概率函数的递减函数。当p=1时,f(p)=0;两个独立事件的联合信息量等于它们的分别的信息量之和。信息量可以定义为:一条信息的信息量与其不确定性具有直接关系。信息熵是香农提出来的,来自于热力学...

信息包括语音和文字等,在自然和社会中广泛存在。

1. 信息熵

香农:信息是用来消除随机不确定性的东西。

小概率事件能够比大概率事件提供更多的信息。

如果用f(p)代表信息量,则f(p)应该满足以下条件:

  1. 它应该是概率函数的递减函数。

  2. 当p=1时,f(p)=0;

  3. 两个独立事件的联合信息量等于它们的分别的信息量之和。

信息量可以定义为:

一条信息的信息量与其不确定性具有直接关系。

信息熵是香农提出来的,来自于热力学,原来用于描述分子的混乱程度,信息论中指随机变量X各可能取值所含信息量的平均值。

2. 信息增益和信息增益率

信息增益衡量的是一个特征能够给一个系统带来多少信息,常用来做特征的选择。

如果单纯用信息增益来选择特征,特征可能值越多,信息增益会越高。信息增益率就是用来解决这个问题。

3. 基尼系数

与信息增益相似,用来选择特征。

基尼系数越小,代表有序程度越高。

基尼系数用来做特征选择,分类后的基尼系数越小,代表分类越成功。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。