10 承上: 前言

天下难事，必始于易。
慎始如终，则不败事。
   --老子

我们已经在上一节完成了平面中的近似问题的解。现在我们去解决空间中的问题。

10.1 R3空间近似解

假设有以下方程组

    2x - y + z = 3    方程为: z = 2x - 3 - y           （式3.2.1） [1,0,1 0,1,4 2,1,0]   Z(A)
    x + 2y - 3z = 1    方程为: z = 1/3*x + 2/3*y - 1   （式3.2.2） [1,3,2 1,6,4 3,1/2,1]  Z(B)
    x + y + 2z = 5     方程为: z = -1/2*x -1/2*y + 5   （式3.2.3） [1,0,2 0,1,2 2,3,0]    Z(C)

因此我们可以获取近似解,将以上方程组转为矩阵如下，矩阵A为

    	A = (2 -1  1
             1  2 -3
             1  1  2)

设我们将要获取的近似解为向量->x, 那么

    	A*->x = -b    

既是:

    	(2 -1  1  (x  = ( 3
    	 1  2 -3   y)     1
    	 1  1  2)  z      5)

由上一节LS方法知

    	A^t*A*->x = A^t*->b   (式3.2.4)

    	其中 ->x 为未知，需要求解

A是已知的

 A^t * A = (2 1  1  * (2 -1  1   =  (4+1+1  -2+2+1  2-3+1             =  (6  1  0
                      -1 2  1     1  2 -3       -2+2+1  1+4+1  -1-6+1     1  6  -6
                       1 -3 2     1  1  1)      2-3+2   -1-6+2  1+9+2)     1 -5  12)

同时 A^t*->b 也是已知的

    A^t*->b = (2 1 1  *（3    =   （6+1+5    = (12
              -1 2 1     1         -3+2+5       4
               1 -3 2    5）        3-3+10)     10)

那么式3.2.4 可以表示为如下形式:

       (6 1   0 * ->x = (12
        1 6  -6          4
        1 -5 12)         10)

类似地使用增广矩阵求行最简形，交换行并 计算 II - 6*I

       =  (1  6   -6  4
       	   1  -5  12  10   II - I
    	   6  1   0   12)  III - 6I  
            
       =  (1  6   -6  4
       	   0 -11  18  6    / -11
       	   0 -35  36  -12)  / -35

       =  (1  6   -6     4
       	   0  1  -18/11  -6/11    / -11
       	   0  1  -36/35  -12/35)  / -35

       =  (1  0   42/11   80/11     I - 6II     
       	   0  1  -18/11  -6/11     
       	   0  1  -36/35  -12/35)   III - II

       =  (1  0   42/11   80/11          
       	   0  1  -18/11  -6/11     
       	   0  0  234/385  87/385)  III / (234/385 )

        =  (1  0   42/11   80/11          
       	   0  1  -18/11  -6/11     
       	   0  0   1      87/234)  

因此 代入未知量 ->x 为

    (1  0  42/11 * (x    =  (80/11  
     0  1  -18/11   y        -6/11 
     0  0   1       z        87/234)

得到方程组

	x + 42/11*z = 80/11    (式3.2.5)
	y - 18/11*z  = -6/11    (式3.2.6)
	         z  = 87/234   (式3.2.7)

    x = 80/11 - 42/11 * 87/234  = 80/11 - 3654/2574  = 18720/2574 - 3654/2574 = 15066/2574  
    y = -6/11 + 18/11 * 87/234  = -6/11 + 1566/2574  =  -1404/2574 + 1566/2574 = 162/2574 

    x = 15066/2574 ~ 5.9 
    y = 162 / 2574 ~ 0.06
    z  = 957/2574 ~ 0.37

得到

    ->x  =  (15066/2574   
              162 / 2574
              957/2574)

因此 A->x - ->b =

                 (  2 -1  1  (15066/2574  - ( 3
                    1  2 -3   162 / 2574      1
                1  1  2)  957/2574        5)

               = （ 30132/2574 - 162 / 2574 + 957/2574     - (3
                    15066/2574 + 324/ 2574 - 2871/2574        1
                    15066/2574 + 162 / 2574 + 1914/2574)      5)

               = (30972/2574   - ( 7722/2574
               	  8019/2574        2574/2574
               	  17142/2574)      12870/2574)

               = (23250/2574
               	  5445/2574
               	  4272/2574)	  

   || A->x - ->b|| =   √(540562500/6625476 +    29648025/6625476  +  18249984/6625476)
                   = √81.588477567 +4.47485207 + 2.754517  =  √88.818328  ~ 9.424322

图示如下 在R3空间的距离，平面之间近似值 和距离

在不同类型的特征空间，其计算方法也相应变化，思考:

空间平面的欧式距离，黎曼空间的距离。

小结

我们回顾和理解了 LS方法和其过程， 并在三维空间中进行了验证。

在下一节我们简单对比LS方法和SVD方法的区别差异，并用于在超定，正定的方程组中求解未知x。