学习笔记|logistic回归 中提到了二项分布的极大似然估计，我们来简单回顾一下似然函数与极大似然估计。

1. 似然函数

似然函数是统计学中关于统计模型参数的函数。百度百科的词条指出，“给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)”。同时，它又指出，P(X=x|θ)“此处并非条件概率”。

但在数学表达式上，P(X=x|θ)与条件概率的表述完全一致，非常容易混淆。

事实上，在似然函数L(θ|x)中，θ一般不是一个随机变量，而是一个未知参数。它更应该写成：

或者：

它表示的是在某个确定的x下，不同的参数θ对应的不同的似然函数L的值或P(X=x)的值。而条件概率P(X=x|θ)指的是确定的θ下X取不同的值的概率。

在连续分布情况下：

2. 极大似然估计

由于似然函数实际上是参数θ的函数，它的基本假设是使得似然函数取到最大值的参数θ是最合理的θ。

或者

当上述似然函数取到极大值时，说明参数θ使得得到当前n个样本的概率在θ的当前领域内达到最大化。

3. 案例中的似然函数推导

在学习笔记|logistic回归 中，假设P(Y=1|x)=π(x)，P(Y=0|x)=1-π(x)，任意一次采样，得到:

那么，随机进行N次采样，其似然函数就可以表示为

参考文献

1.统计学习方法（第2版），李航著，清华大学出版社
2.https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0/6011241?fr=aladdin
3.https://www.zhihu.com/question/54082000