AI数学基础之信息论——华为AI学习笔记6
【摘要】 信息包括语音和文字等,在自然和社会中广泛存在。1. 信息熵香农:信息是用来消除随机不确定性的东西。小概率事件能够比大概率事件提供更多的信息。如果用f(p)代表信息量,则f(p)应该满足以下条件:它应该是概率函数的递减函数。当p=1时,f(p)=0;两个独立事件的联合信息量等于它们的分别的信息量之和。信息量可以定义为:一条信息的信息量与其不确定性具有直接关系。信息熵是香农提出来的,来自于热力学...
信息包括语音和文字等,在自然和社会中广泛存在。
1. 信息熵
香农:信息是用来消除随机不确定性的东西。
小概率事件能够比大概率事件提供更多的信息。
如果用f(p)代表信息量,则f(p)应该满足以下条件:
-
它应该是概率函数的递减函数。
-
当p=1时,f(p)=0;
-
-
两个独立事件的联合信息量等于它们的分别的信息量之和。
信息量可以定义为:
一条信息的信息量与其不确定性具有直接关系。
信息熵是香农提出来的,来自于热力学,原来用于描述分子的混乱程度,信息论中指随机变量X各可能取值所含信息量的平均值。
2. 信息增益和信息增益率
信息增益衡量的是一个特征能够给一个系统带来多少信息,常用来做特征的选择。
如果单纯用信息增益来选择特征,特征可能值越多,信息增益会越高。信息增益率就是用来解决这个问题。
3. 基尼系数
与信息增益相似,用来选择特征。
基尼系数越小,代表有序程度越高。
基尼系数用来做特征选择,分类后的基尼系数越小,代表分类越成功。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)