《Python数据挖掘与机器学习实战》—3.6.2 构造损失函数J

3.6.2  构造损失函数J

　　与多元线性回归所采用的最小二乘法的参数估计方法相对应，最大似然法是逻辑回归所采用的参数估计方法，其原理是找到这样一个参数，可以让样本数据所包含的观察值被观察到的可能性最大。这种寻找最大可能性的方法需要反复计算，对计算能力有很高的要求。最大似然法的优点是大样本数据中参数的估计稳定、偏差小、估计方差小。

　　接下来使用概率论中极大似然估计的方法去求解损失函数：

　　首先得到概率函数为：

　　             （3-17）

　　因为样本数据（m个）独立，所以它们的联合分布可以表示为各边际分布的乘积，取似然函数为：

              （3-18）

　　取对数似然函数：

              （3-19）

　　最大似然估计就是要求得使l(θ)取最大值时的θ，这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数：

              （3-20）

　　基于最大似然估计推导得到Cost函数和J函数如下：

              （3-21）