TensorFlow:简单预测的单变量线性回归

黄生 发表于 2021/04/24 17:07:59 2021/04/24
【摘要】 单变量线性回归标签是我们要预测的真实事物y,特征是指用于描述数据的输入变量xi样本指数据的特定实例x,有标签样本具有{特征,标签},用于训练模型;无标签样本具有{特征,?},用于对新数据做出预测模型可将样本映射到预测标签,由模型的内部参数定义,内部参数通过学习得到具体到这里,参数就是 y=wx+b里的w和b,也叫权重和偏差?在监督式学习中,机器学习算法通过以下方式构建模型:检查多个样本并尝试...

单变量线性回归

标签是我们要预测的真实事物y,特征是指用于描述数据的输入变量xi

样本指数据的特定实例x,有标签样本具有{特征,标签},用于训练模型;无标签样本具有{特征,?},用于对新数据做出预测

模型可将样本映射到预测标签,由模型的内部参数定义,内部参数通过学习得到

具体到这里,参数就是 y=wx+b里的w和b,也叫权重和偏差?

在监督式学习中,机器学习算法通过以下方式构建模型:检查多个样本并尝试找出可最大限度的减少损失的模型。这一过程称为经验风险最小化

如何判断损失是多少呢?那就使用到损失函数。

损失函数有L1,L2。L1是绝对值,L2是均方误差MSE,那么2个场景做损失比较时会有L1一样,L2不一样的情况

其实是挺简单的东西,但是一概念化体系化了之后是不是觉得高大上了?

那么这个尝试的过程,可以采用什么样的方法比较有效呢?

梯度下降法,梯度是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,也就是更陡峭的方向。下降就是要反方向,沿着比较更不陡峭的方向走,这样方向对了,才能快速的到达到底部收敛。

那么方向确定了,节奏怎么控制呢,步调太慢天都黑了还没下到山脚,小心会被吓死;步调太快步子大了容易扯着蛋,也没有必要。这里的用学习率/步长来描述这个节奏,如果梯度是2.5,学习率是0.01,那下一个尝试的点是距离前一个点2.5*0.01=0.0025的位置。(梯度是固定的,还是每走一步都会变的呢?)

个人认为好的学习率,不应该是一个固定值,而应该是先大后小。也就是先大步快速的到达底部附近,再小步寻找最底部。

学习率是学习开始之前就设置的,叫超参数,这个是和参数不同的,参数是学习过程中学到的。

这里x轴是权重值w,y轴是损失。应该说这是一个很简单的例子,因为参数只考虑了权重值,当参数有数不清的个数的时候,就要变的相当的复杂了。

另外这个图像说是凸型,实际这是一个向上的U的形状,应该叫凹才对吧,要说凸,那也只是往地上凸。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。