9 承上一节

在医药和卫星通信研究的正交分解，有一个基础而简单的应用，那就是近似值的求解。
在概率论中也有类似的最优解问题，在空间向量中，我们有最小二乘(least square soluation)。

• 线性方程组的LS解

问题:

    设a，b属于R^n, a,b的距离如何表示。
    在几何空间中，向量为自由向量，可以平行移动，将不同向量的起点移动到同一点。
    那么此时 a，b的距离表示为 两个向量的终点之间的距离，

        即a减b的长度 ||a-b||

		设A是 sxn矩阵，b是sx1矩阵， Ax=b， Ax0=b
    如果x0 是n维向量，x0 ∈ R^n， ||b-Ax0|| 达到最小值，此时x0是线性方程组Ax=b 的 '最小二乘解'。

定义:

     设A为sxn矩阵，b为sx1矩阵

    若x0满足 ||b-Ax0||=min(xR^n)||b-Ax||
    则称x0为Ax=b的最小二乘解

定理: x0为Ax=b的最小二乘解 <=> x0满足A^tAx0=A^tb

这通常被称为LS的方法。 见下图 向量p称为在 Ax空间的LS近似解。

9.1 例:正交分解 LS 最小二乘

例1 在二维平面如上我们知道 有以下矩阵A

A = (2 3
     2 4
     2 1)

其行基为

R =  (3  5
      0  1)

列基为

 Q =       (2/3    -1/3
            2/3     2/3
            1/3    -2/3)

使用LS求解方程 A->v = (7
3
1)

也就是使用正交法:

    		A^t*A->v^ = A^tE    其中 E为(7  
    		                            3  
    		                            1)

这表示A的转置乘A和 未知向量 ->v的正交 等于A的转置乘以E

其中 ->v 就是我们需要找到的解。

因为我们知道A可以正交分解为QR，所以上式也可以如下:

    	(QR)^t(QR)*->v = (QR)^tE

展开等效于

    	R^t*Q^t*Q*R*->v = R^t*Q^t*E
           此处为I，Q为正交的

    	R^t*R*->v = R^t*Q^t*E
    	R*->v = Q^t*E

消元以上式子

    	R->v = Q^tE

代入已知变量

    	(3  5  * (->x   = (2/3  2/3  1/3  * (7
    	 0  1)    ->y)    -1/3  2/3 -2/3)    3
                                             1)

        (->x  =  (2/3 * 7 + 2/3 * 3 + 1/3   =  (7
         ->y)     -7/3 + 6/3 - 2/3)            -1)

   因此有 R->x^ = Q^t*E 
                = (3  5  * (->x    = (7
                   0  1)    ->y)     -1)

   得到两个方程式:
        	3x + 5y = 7
        	      y = -1

最后 x = 4

得到最小二乘解的向量：

       ->x  = (4
              -1)

其长度为：

        ||->x|| = √4*4 + 1*1 = √17

9.2 例:正交分解 LS 平面空间最小距离

有如下方程组，它们代表了A空间某些事件

		2x - y = 2    方程为: y = 2x - 2           （式1）
		x + 2y = 1    方程为: y = -1/2*x + 1/2     （式2）
		x + y =4      方程为: y = -x + 4           （式3）

其矩阵形式为,其中 ->x 为我们将要获取的解向量，我们现在不清楚是否有解，可以做验证

由 式1 和 式2 得到, 两个y值，说明他们没有交于一点，可以从(图 3.1.1) 获知。

    	x = 6/5, y = 2/5
    	x = 6/5, y = -1/10

因此我们可以获取近似解,将以上方程组转为矩阵如下

设我们将要获取的近似解为向量->x, 那么

    	A*->x = -b (求解方程)

既是:

    	(2 -1  (x  = (2
    	 1  2   y)    1
    	 1  1)        4)

由上一节正交分解，我们需要知道 ->x 这个LS解，那么在 求解方程两边同时 左乘 A的转置
这个过程称之为LS法，它把问题转化为平面，从而得到一个近似解。

    	A^t*A*->x = A^t*->b   (式4)

    	其中 ->x 为我们需要获取的解。

A是已知的

           A^t * A = (2 1 1  * (2 -1    =  (6  1
                      -1 2 1)   1  2        1  6)
                                1  1)

同时 A^t*->b 也是已知的

    A^t*->b = (2 1 1  *（2    =   （9
              -1 2 1)    1         4)
                         4）

那么式4 可以表示为如下形式:

    	(6 1 * ->x = (9
    	 1 6)         4)

使用增广矩阵求行最简形

	交换行并 计算 II - 6*I
   =  (1  6   4
       6  1   9)  II - 6*I

   =  (1  6   4
       0 -35 -15) II / -35

   =  (1  6   4   I - 6II
       0  1   3/7)

   =  (1  0  10/7
       0  1   3/7)

因此 代入未知量 ->x 为

	(1  0  * (x    =  (10/7
	 0  1)    y)        3/7)
    此为单元阵 

 得到向量解  ->x  =  (10/7
                     3/7)

我们希望知道向量解在空间中与3个方程的距离 ||A->x - ->b||
现在A是已知的，->x, ->b 也是已知的

  A*->x = 
	(2 -1  * (10/7    =  (17/7
	 1  2     3/7)        16/7
	 1  1)	              13/7)

 而不在矩阵A空间的向量 ->b = (2
                            1
                            4)

 所以有 A->x - ->b = (17/7  - (2
                     16/7      1
                     13/7)     4)

                  = (3/7     （向量 ->b 到矩阵A空间投影的向量）
                     9/7  
                   -15/7)

因此，向量 ->b 到矩阵A空间投影的距离为

||A->x - ->b|| = √9/49 + 81/49 + 225/49  =  3√35 ➗ 7

这是向量b 也就是 ->b 在矩阵A 空间的近似解到 真正的解直接的距离。

但向量b不在A空间，因此没有真正的解。 只有此近似解，也是最好的估计。

因为这个三个方程没有唯一解，因此最好的近似解其图示表现为:

这个方法在各个行业都有应用，实际上，现实世界问题很多是没有准确唯一的解，因此近似解或最优解经常在各个学科出现，比如概率论等。

小结

呼哈，我们回顾和理解了 LS方法和其过程，这非常有用， 前面讲平面是空间的特例，因此在空间中的计算方式，与此类似。

在下一节我们详细举例R3空间的说明。 并开始解释它在数据处理领域，空间计算领域的用处 ，我们从平面进入R3空间也就是三维空间。