吴恩达机器学习——多元线性回归

举报
KevinQ 发表于 2022/01/14 17:59:24 2022/01/14
【摘要】 多元线性回归多元线性回归适用于多变量,多特征量的应用场景。 一些数学符号定义n表示变量的数目;m表示样本数目;x(i)表示第i个训练样本:如x(2) = [1416, 3, 2, 40];xj(i)表示第i个训练样本的第j个变量,如上述的x3(2)=2。 多元线性回归问题通过如下图的推导,将公式转化成向量的转置乘以向量(向量内积)。 多元线性回归的代价函数与梯度下降算法注意:在不断的迭代中...

多元线性回归

多元线性回归适用于多变量,多特征量的应用场景。

一些数学符号定义

n表示变量的数目;

m表示样本数目;

x(i)表示第i个训练样本:如x(2) = [1416, 3, 2, 40];

xj(i)表示第i个训练样本的第j个变量,如上述的x3(2)=2。

image-20220114152045434

多元线性回归问题

通过如下图的推导,将公式转化成向量的转置乘以向量(向量内积)。

image-20220114152316004

多元线性回归的代价函数与梯度下降算法

注意:在不断的迭代中,不断的更新每个θj (j=0, 1, …, n),需要同步更新。

image-20220114154710210

下图是公式表达从一元线性回归到多元线性回归的推导,仅是符号推导:

image-20220114154946176

特征值缩放

特征值缩放,即各个特征值都在一个相近的范围,这能够使得梯度下降算法更快地收敛,即很快的获的计算结果。

如下图,x1表示尺寸,取值是0-2000;x2表示卧室的数量,取值0-5,为了更快的获取结果,我们需要将其转换为一个相似的取值范围内,通常按照下图所示的方式来处理,即:特征值除以最大值。

image-20220114155650787

尽量使得各个变量的范围都处于-1~1之间,尽量使得各个变量的范围。

下面提供了一种特征值缩放的方法。

均值归一化

image-20220114164059496

如上图所示,其中μi表示变量的平均值,Si表示变量的范围或标准差,即(max - min)。归一化方法:

xi = (xi - μi) / Si

求导公式

这里提一句求导的一个复合函数求导公式,能帮助我们理解其中求导的过程。

image-20220114164532788

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200