整体或局部: 矩阵必知必会：经典QR方法应用广泛，你必须掌握
8.0 写在前面
意义何在。
桥梁有笔直的线条，
与无序弯曲的天空形成对比，
颜色背景暗淡，其背后有两人成行，
作为主角的人，双手捧脸，面部扭曲，孤独一人，
瞪大了眼睛，惊讶得长大嘴巴，就差没掉在地上。
这就是世界给人的惊恐感和孤独感。
___ 梵高，对于大地和蓝天的描绘
人工智能图形算法的火爆，使得背后的技术奇异分解技术 SVD(Sigular Value Decomposition) 异军突起。它的炫酷来自关键信息的提取。
它发端于 1936年发布的定理。 Eckhart-Jung theorom。
接下来几个章节，我们试图理一理另一个重要的方式，也就是正交分解QR，它最早可以追溯到数学王子 高斯(Gaussian)。 它在三维空间计算，土木工程，游戏科学中也经常被使用。
8.1 矩阵正交向量空间
我们知道 某些矩阵及其子矩阵的正交属性。
设有向量集Q，其中向量都是单元正交向量。
正交向量 生成空间
x^t*y = 0
y^t*x = 0
(x+y)^t(x+y) = x^t*x + y^t*y
Q的 列 q1...qn,正交 得 单元向量
正交向量 和 其子空间有如下属性:
Q^T*Q = (---q1^t--- * [q1...qn] = (1, 0 = I_n (n阶单元阵)
... ...
---qn^t--- ) 0, 1)
这表示 n 阶单元阵:
QQ^t = [q1...qn] * (---q1^t---
...
---qn^t---)
= q1q1^t + ... + qnqn^t = I
知识点: 如果有一组相互独立的列向量，它们向不同方向，但是它们不是90度相互垂直。
我们可以通过一系列变换，把它们转换为 90 度正交。
这将需要设置一个于矩阵 R 垂直的轴。
如果那是三角形，那将是移动的轴，线性移动的参考系。
因此 A = QR 正交分解 是一个线性空间的基本步骤，也是计算线代的基础。
当我们需要 正交分解矩阵 Q时，我们做这样的格雷姆.施密特 变换（Graham Schmidt）制造列正交。
比如毕达哥拉斯定理（Pythagoras），勾三股四玄五。
sin90 = 1
cos90 = 0
正交分解经常被用于 医药研究和卫星通信。
当只需要配合两个变量的直线时，QR 不是特别有用，
但是如果需要解决2000个方程，但是只有两个变量时，怎样求解？
我们可以找出最优解，使用 Least Squares 最小二乘法。 Major Applications of A = QR
这将是 正交分解的用处。
m > n m 方程 Ax = b，n 是未知的，最小化 ||b-Ax||^2 = ||e||^2
当我们无法解出 Ax = b 时，两边乘以变量
使得A*->x = b 的 ->x 最优解的一般方程：
A^t*e = 0 或
A^t*A*x^ = A^t*b
如果A = QR 然后 R^t*Q^t*b 最后得到 R*x^ = Q^t*b
这通常被称为(LS)最小二乘的方法。这将在下一节介绍。
8.2 两个QR实例
QR分解也称为 QU分解法，因为R本质时A的上三角(upper)，而Q是正交或 unitary matrix orthogonal单元阵。
一般的矩阵其转置是与Q^-1(也就是Q的逆矩阵) 一致的，矩阵和逆矩阵相乘，你将得到一个单位矩阵。
Q^t = Q^-1 （因为Q是正交阵或单位矩阵）
在复杂矢量空间处理时，如列向量空间，CM，大致可用 Q^t = Q^-1。
所以 Q的列来自正交基。
正交分解的过程，图解
它依赖于称之为(gram-schmidt process)的过程
假设有一个基空间 B，其中每个元素向量长度为1，并且任意两个向量都正交的向量集合。
设 A ∈ IR 为某3 x 3方阵，A = (a11 a12 a13
a21 a22 a23)
A的每一列都有3个元素，我们现在要做的是转换它们，并生成矩阵正交阵Q 和 B
设 Q = (q11 q12 q13
q21 q22 q23
q31 q32 q33 )
这些矩阵向量长度都为1，归一化 normalizing 第一向量,也就是 a1 除以它自身的长度.
(内积或点乘的平方根，比如两个向量a,b的内积[a,b] = 0，那么a,b正交, 内积是对称的，齐性，可加，恒正的)
(1) q1 = a1/||a1||
(2) 两个不同方向的向量，是无法归一的，这时候需要使用投影, 比如空间
向量->a2 在空间A中，到q1的投影 是 ->x
____________________
/ /
/ | (->a2) /
/ | / /
/ |/ | a2^ / (图2.3.1)
/ /-->----(q1)/
/ / (x) /
/ / /
/___________________/
取得 a2^ 直角边长度，就是距离
a2^ = a2 - <a2, q1>q1
按定义: q2 = a2^ ÷ ||a2^||
(3) a3^ = a3 - <a3,q1>q1 - <a3,q2>q2
q3 = a3^ ÷ ||a3^||
8.2.1 例1: 根据定义求取的例
A = (1 3
1 -1)
设 Q = () R = ()
//因为a1 = (1
1)
(1) q1 = a1 ÷ ||a1|| = (1 ÷ √2)(1
1)
Q = (1 / √2 ?
1 / √2 ?)
R = (√2 ?
0 ?)
(2) 由定理: a2^ = a2 - <a2 q1>q1
= (3 - <(3 1/√2 > * (1/√2
-1) -1 1/√2 ) 1/√2 )
此处为R12 = 1/√2(3-1) = 2/√2 = √2
= (3 - √2 * (1/√2 = (2
-1) 1/√2) -2)
由定义: q2 = (1 / √ 2^2 +(-2)^2)(2
-2)
此处被除的平方根是属于R22 = 2√2
= (1/ 2)(1 = (1/√2
-1) -1/√2)
(3) Q = (1/√2 1/√2
1/√2 -1/√2)
R = (√2 √2
0 √2)
可以验证 A = QR 也就是
(1 3 = (1/√2 1/√2 * (√2 √2
1 -1) 1/√2 -1/√2) 0 √2)
8.2.2 例2：根据性质求取的例
假设有m x n 阶矩阵，m x n = 3 x 2
A = (2 3
2 4
1 1)
其列向量空间为C(A) = (u1 u2)，它们就是A矩阵的列基。
v1 = u1 = (2
2
1)
u2 = (3
4
1)
点u2到向量u1的投影距离（v2）到 u2^ 如下:
________________________________________
/ /
/ `.u2 / /
/ `. . u1=(2 /
/ `. / 2 / (图2.3.2)
/ `/u2^ 1) /
/ / /
/ / /
/_______________________________________/
其投影距离 v2 = u2 - u2^
计算过程如下：
u2^ = (u2^*v / v1 * v1)v1 = ( (3 · (2 ) / (2 · (2 *(2
4 2 2 2 2
1) 1) 1) 1) 1)
= [(3*2 + 4*2 + 1) / (2*2 + 2*2 +1)]*[2
2
1]
= 5/3 * (2
2
1)
=(10/3
10/3
5/3)
v2 = u2 - u2^ = (3 - (10/3 = (-1/3 ≈ (-1
4 10/3 2/3 2
1) 5/3) -2/3) -2)
列空间向量中A的正交列
第一列的正交列
w1 = 1/3*(2 = (2/3
2 2/3
1) 1/3)
第二列的正交列 也就是 v2
w2 = 1/3*(-1 = (-1/3
2 2/3
-2) -2/3)
因此，列正交向量组Q为
Q = [w1 w2] = (2/3 -1/3
2/3 2/3
1/3 -2/3)
使用方程组，因为 A = QR，又有:
Q^tA = Q^tQR = IR = R
此处Q^tQ = I (因为Q是正交的，所以Q的转置乘以Q 等于单位阵)
Q^t*A = R
u1 u2
所以 R = Q^t*A = (2/3 2/3 1/3 * (2 3 = (3 5
-1/3 2/3 -2/3) 2 4 0 1)
1 1)
Q^t的第二行向量 实际上是 u2 到 u1的正交向量，因此两个正交向量相乘就等于0
可以得出 R = (3 5
0 1)
验证 A = QR，可以计算完成，我们也可以通过在对角线的正对角调整它。
= ( 2/3 -1/3 * (3 5 = (2 3
2/3 2/3 0 1) 2 4
1/3 -2/3) 1 1)
现在我们知道了正交分解的计算过程。我们下一节针对两个例子，试着对在空间中向量组无解时，应用最小二乘法获取近似值。
一些矩形方程组，线性方程组，由于它们不是方阵，比如2 x 3， 3 x 2，没有特征解，只好寻找其在空间中的近似值。
如果矩阵可逆，总是有可能获得特征值，因为有n维独立列。 否则可以获取LS值。
小结
我们回顾和理解了 正交分解的过程，这在某向量不在空间时又需要取得其最优解时非常有用，在下一节我们详细举例说明。
路漫漫其修远兮，吾将上下而求索。
- 点赞
- 收藏
- 关注作者
评论（0）