决策树和随机森林（上）

决策树和随机森林

信息熵

• 熵
• 联合熵
• 条件熵
• 互信息

决策树学习算法

• 信息增益
• ID3、C4.5、CART
• Bagging与随机森林

概念部分

思考：两点分布的信息熵

import numpy as np
import matplotlib.pyplot as plt
p = np.linspace(0.0000001,1,100)
h = -(1-p)*np.log(1-p) - p*np.log(p)
plt.plot(p,h)
plt.show()

  

 

  
1
  
2
  
3
  
4
  
5
  
6
 

即如果概率都是0.5的信息熵最大，举个例子如果两个球队的获胜概率都是0.5，那么会有更多的人去 观看，带来的

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/88966126