吴恩达机器学习课程——单变量线性回归

KevinQ 发表于 2022/01/11 18:11:44 2022/01/11
【摘要】 线性回归在上一篇文章中,我们介绍了机器学习可以划分为监督学习(Supervised Learning)与无监督学习(Unsupervised Learning),监督学习即一致数据的正确答案:‘right answer’ for each example in the data。回归是指我们预测出一个具体的数值输出。在线性回归中,有以下几个基本概念:training set 训练数据集​ ...

线性回归

在上一篇文章中,我们介绍了机器学习可以划分为监督学习(Supervised Learning)与无监督学习(Unsupervised Learning),监督学习即一致数据的正确答案:‘right answer’ for each example in the data。

回归是指我们预测出一个具体的数值输出。

在线性回归中,有以下几个基本概念:

training set 训练数据集

​ m = 训练样本的数量

​ x = 输入变量/特征

​ y = 输出变量/(预测的)目标变量

​ (x, y) = 一个训练样本

​ (x^(i), y^(i)) = 特定的训练样本,第i个训练样本(i是上标)

​ h = 假设函数,h maps from x’s to y’s

监督学习算法工作一般流程:向学习算法提供训练数据集合,学习算法的任务是输出一个函数,通常以h表示,h表示假设函数,假设函数的作用是作用于新数据,从而得出预测的结果,如下图所示。

image-20220111175047682

当我们设计一个“学习算法”时,一个需要做的事是,决定怎么表示这个假设函数h。若预测的函数h可表示为如下形式:

h(x) = ax + b

则这就是一个一元线性回归,或单变量线性回归。

代价函数

代价函数解决的问题是,如何把最有可能的直线与我们的数据相拟合。

在上面的公式中,a, b被称为模型参数,我们要做的就是谈谈如何选择这两个参数值,要尽量选择参数值,使得在训练集中,给出训练集中的x值,我们能合理准确地预测y的值。用数学语言表达如下:

标准定义:在线性回归中,我们要解决的是一个最小化问题:

目标函数:mina, b = (h(x) - y)2

进一步,某个训练样本i:(img)表示第i个样本, m表示训练样本总数目。

目标函数:

img

进一步:整体目标函数为:

img

其中,img为假设函数。表述为找到img使得上述表达式的值最小

定义一个代价函数:(有时也称为平方误差函数,平方误差代价函数)

img

需要做的就是关于img对函数img求最小值。

也存在其他的代价函数,但平方误差函数式解决问题最常用的手段。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。