吴恩达机器学习——多元线性回归

多元线性回归

多元线性回归适用于多变量，多特征量的应用场景。

一些数学符号定义

n表示变量的数目；

m表示样本数目；

x⁽ⁱ⁾表示第i个训练样本：如x⁽²⁾ = [1416， 3， 2， 40]；

x_j⁽ⁱ⁾表示第i个训练样本的第j个变量，如上述的x₃⁽²⁾=2。

多元线性回归问题

通过如下图的推导，将公式转化成向量的转置乘以向量（向量内积）。

多元线性回归的代价函数与梯度下降算法

注意：在不断的迭代中，不断的更新每个θ_j (j=0, 1, …, n)，需要同步更新。

下图是公式表达从一元线性回归到多元线性回归的推导，仅是符号推导：

特征值缩放

特征值缩放，即各个特征值都在一个相近的范围，这能够使得梯度下降算法更快地收敛，即很快的获的计算结果。

如下图，x₁表示尺寸，取值是0-2000；x₂表示卧室的数量，取值0-5，为了更快的获取结果，我们需要将其转换为一个相似的取值范围内，通常按照下图所示的方式来处理，即：特征值除以最大值。

尽量使得各个变量的范围都处于-1~1之间，尽量使得各个变量的范围。

下面提供了一种特征值缩放的方法。

均值归一化

如上图所示，其中μ_i表示变量的平均值，S_i表示变量的范围或标准差，即(max - min)。归一化方法：

x_i = (x_i - μ_i) / S_i

求导公式

这里提一句求导的一个复合函数求导公式，能帮助我们理解其中求导的过程。