线性回归的损失和优化（四）

    假设房子例子，真实的数据之间存在这样的关系：

    真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
那么现在呢，我们随意指定一个关系（猜测）

    随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率

    请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

    既然存在这个误差，那我们就将这个误差给衡量出来

    1 损失函数
     总损失定义为：

      如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！

    2 优化算法
    如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）

    线性回归经常使用的两种优化算法
      正规方程
      梯度下降法
    2.1 正规方程
    2.1.1 什么是正规方程

    理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果

    缺点：当特征过多过复杂时，求解速度太慢并且得不到结果

    2.1.2 正规方程求解举例
    以下表示数据为例：

    即：

    运用正规方程方法求解参数：

    2.1.3 正规方程的推导
    推导方式一：
    把该损失函数转换成矩阵写法：

    求导：

    注：式(1)到式(2)推导过程中, X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘XT把其变成一个方阵，保证其有逆矩阵。

    式（5）到式（6）推导过程中，和上类似。