Adaboost算法

Adaboost算法：

AdaBoost 算法 在数据挖掘中，分类算法可以说是核心算法，其与随机森林算法一样都属于 分类算法中的集成算法。

什么是集成？

集成用我们通俗的话来说就是“三个臭皮匠，顶个诸葛亮”。通过构建并结合多个机器学习器来完成学习任务，并且达到一个更好的结果。

为什么要集成？

因为臭皮匠好训练，诸葛亮却不好求。因此要打造一个诸葛亮，最好的方式就是训练多个臭皮匠，然后让这些臭皮匠组合起来，这样往往可以得到很好的效果。 这就是 Boosting 算法的原理。

集成算法的两种方式：

集成算法通常有两种方式， 分别是投票选举（bagging）和再学习（boosting）。

投票选举 的场景类似把专家召集到一个会议桌前，当做一个决定的时候，让 K 个专家（K 个模型）分别进行分类，然后选择出现次数最多的那个类作为最终的分类结果。

再学习 相当于把 K 个专家（K 个分类器）进行加权融合，形成一个新的超级专家（强分类器），让这个超级专家做判断。

投票选举和再学习的区别 。Boosting 的含义是提升，它的作用是每一次训练的时候都对上一次的训练进行改进提升，在训练的过程中这 K 个“专家”之间是有依赖性

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/91359124