信息包括语音和文字等，在自然和社会中广泛存在。

1. 信息熵

香农：信息是用来消除随机不确定性的东西。

小概率事件能够比大概率事件提供更多的信息。

如果用f(p)代表信息量，则f(p)应该满足以下条件：

1. 它应该是概率函数的递减函数。

2. 当p=1时，f(p)=0；

3. 

4. 两个独立事件的联合信息量等于它们的分别的信息量之和。

信息量可以定义为：

一条信息的信息量与其不确定性具有直接关系。

信息熵是香农提出来的，来自于热力学，原来用于描述分子的混乱程度，信息论中指随机变量X各可能取值所含信息量的平均值。

2. 信息增益和信息增益率

信息增益衡量的是一个特征能够给一个系统带来多少信息，常用来做特征的选择。

如果单纯用信息增益来选择特征，特征可能值越多，信息增益会越高。信息增益率就是用来解决这个问题。

3. 基尼系数

与信息增益相似，用来选择特征。

基尼系数越小，代表有序程度越高。

基尼系数用来做特征选择，分类后的基尼系数越小，代表分类越成功。