用途

分类或者预测。

思想

（1）每次有放回地从训练集中取出 n 个训练样本，组成新的训练集；

（2）利用新的训练集，训练得到M个子模型；

（3）对于分类问题，采用投票的方法，得票最多子模型的分类类别为最终的类别；对于回归问题，采用简单的平均方法得到预测值。

步骤

第一步：T中共有N个样本，有放回的随机选择N个样本。从N个训练用例（样本）中以有放回抽样的方式每次取一个，取样N次，形成一个训练集（即bootstrap取样：随机有放回的抽样）。这样原本样本中可能不会全部选到。如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。
这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。

第二步：当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m << M。然后从这m个属性中采用某种策略（比如说信息增益）来选择1个属性作为该节点的分裂属性。

第三步：决策树形成过程中每个节点都要按照步骤2来分裂，一直到不能够再分裂为止。注意整个决策树形成过程中没有进行剪枝。

第四步：按照步骤1~3建立大量的决策树，这样就构成了随机森林了。

剪枝

剪枝则是为了增加模型的泛化能力，防止过拟合。

考虑决策树的复杂对，对已生成的决策树进行简化，简化的过程称为剪枝。一些简单的剪枝算法包括损失函数（loss function）、代价函数（cost function）等。

后续需要研究研究