@Author：Runsen

决策树是解决分类和回归问题的一种常见的算法。决策树算法采用树形结构，每一次选择最优特征，来实现最终的分类，因此决策树是一种递归的算法。但是，决策树很容易产生过拟合现象，最常见的处理方法进行剪枝的处理和限制决策树的深度。随机森林，是由多棵决策树集成，因此随机森林一种基于树的模型集成学习方法，下面，将详细介绍决策树和随机森林算法。

决策树

决策树最重要的是选择特征，这个选择特征的标准就是依靠熵而定。因此，学习决策树前，需要介绍决策树中的熵，其中包括信息熵、条件熵、联合熵和互信息。

信息熵

在了解信息熵之前，需要知道信息量。信息量是通过概率来定义的：如果某一件事情的发生的概率很低，那么它的信息量就很大；同样的道理，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以由计算公式计算，公式如下： 信 息 量 = l o g 2

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/113393760