云社区 博客 博客详情

线性回归的损失和优化(四)

咔吧咔吧 发表于 2020-12-14 15:44:14 2020-12-14
0
0

【摘要】     假设房子例子,真实的数据之间存在这样的关系:    真实关系:真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率那么现在呢,我们随意指定一个关系(猜测)    随机指定关系:预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇...

    假设房子例子,真实的数据之间存在这样的关系:

    真实关系:真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
那么现在呢,我们随意指定一个关系(猜测)

    随机指定关系:预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率


    请问这样的话,会发生什么?真实结果与我们预测的结果之间是不是存在一定的误差呢?类似这样样子

   

    既然存在这个误差,那我们就将这个误差给衡量出来

    1 损失函数
     总损失定义为:

   

   

      如何去减少这个损失,使我们预测的更加准确些?既然存在了这个损失,我们一直说机器学习有自动学习的功能,在线性回归这里更是能够体现。这里可以通过一些优化方法去优化(其实是数学当中的求导功能)回归的总损失!!!

    2 优化算法
    如何去求模型当中的W,使得损失最小?(目的是找到最小损失对应的W值)

    线性回归经常使用的两种优化算法
      正规方程
      梯度下降法
    2.1 正规方程
    2.1.1 什么是正规方程

   

   

    理解:X为特征值矩阵,y为目标值矩阵。直接求到最好的结果

    缺点:当特征过多过复杂时,求解速度太慢并且得不到结果

   

    2.1.2 正规方程求解举例
    以下表示数据为例:

   

    即:

   

    运用正规方程方法求解参数:

   

    2.1.3 正规方程的推导
    推导方式一:
    把该损失函数转换成矩阵写法:

   

    求导:

   

   

    注:式(1)到式(2)推导过程中, X是一个m行n列的矩阵,并不能保证其有逆矩阵,但是右乘XT把其变成一个方阵,保证其有逆矩阵。

    式(5)到式(6)推导过程中,和上类似。

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

上一篇:线性回归必备求导公式(三)

下一篇:梯度下降方法(上)

评论 (0)


登录后可评论,请 登录注册

评论