玄乎的“最大熵原理”

下面我来尝试解释一下这个概念。

我们了解：熵，就是混乱的意思。

在面对未知时，我们眼前的情况是十分混乱的 - 这个时候的熵值极大。然后我们会通过慢慢地收集数据和信息，慢慢地去分析，来一点一点地将熵降低。

最大熵模型 (maximization entropy model) 也是经典的分类算法，和逻辑回归模型一样，最大熵模型也属于对数线性模型。最大熵模型的学习和支持向量机类似，都转化为约束最优化问题。

最大熵原理

最大熵的思想很朴素，即将已知事实以外的未知部分看做“等

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/115922049