学习笔记|似然函数与极大似然估计
【摘要】 学习笔记|logistic回归 中提到了二项分布的极大似然估计，我们来简单回顾一下似然函数与极大似然估计。1. 似然函数似然函数是统计学中关于统计模型参数的函数。百度百科的词条指出，“给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)”。同时，它又指出，P(X=x|θ)“此处并非条件概率”。但在数学表达式上，P(X=x|θ)...
学习笔记|logistic回归 中提到了二项分布的极大似然估计，我们来简单回顾一下似然函数与极大似然估计。
1. 似然函数
似然函数是统计学中关于统计模型参数的函数。百度百科的词条指出，“给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)”。同时，它又指出，P(X=x|θ)“此处并非条件概率”。
但在数学表达式上，P(X=x|θ)与条件概率的表述完全一致，非常容易混淆。
事实上，在似然函数L(θ|x)中，θ一般不是一个随机变量，而是一个未知参数。它更应该写成：
或者：
它表示的是在某个确定的x下，不同的参数θ对应的不同的似然函数L的值或P(X=x)的值。而条件概率P(X=x|θ)指的是确定的θ下X取不同的值的概率。
在连续分布情况下：
2. 极大似然估计
由于似然函数实际上是参数θ的函数，它的基本假设是使得似然函数取到最大值的参数θ是最合理的θ。
或者
当上述似然函数取到极大值时，说明参数θ使得得到当前n个样本的概率在θ的当前领域内达到最大化。
3. 案例中的似然函数推导
在学习笔记|logistic回归 中，假设P(Y=1|x)=π(x)，P(Y=0|x)=1-π(x)，任意一次采样，得到:
那么，随机进行N次采样，其似然函数就可以表示为
参考文献
1.统计学习方法（第2版），李航著，清华大学出版社
2.https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0/6011241?fr=aladdin
3.https://www.zhihu.com/question/54082000
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）