最小二乘法代数表示方法

假设多元线性方程有如下形式：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
令$w=(w_1,w_2,...w_d)$，$x=(x_1,x_2,...x_d)$，则上式可写为
$$f(x)=w^{T}x+b$$
多元线性回归的最小二乘法的代数法表示较为复杂，此处先考虑简单线性回归的最小二乘法表示形式。在简单线性回归中，w只包含一个分量，x也只包含一个分量，我们令此时的$x_i$就是对应的自变量的取值，此时求解过程如下

优化目标可写为
$$SSE=\sum _{i=1}^m(f(x_i)-y_i{)}^2=E_{(}w,b)$$
通过偏导为0求得最终结果的最小二乘法求解过程为：
KaTeX parse error: No such environment: align at position 9: \begin{̲a̲l̲i̲g̲n̲}̲ \frac{\partial…

KaTeX parse error: No such environment: align at position 9: \begin{̲a̲l̲i̲g̲n̲}̲ \frac{\partial…

求得：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

#最小二乘法的矩阵表示形式

设多元线性回归方程为：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
令
$$\hat{w}=(w_1,w_2,...,w_d,b)$$

$$\hat{x}=(x_1,x_2,...,x_d,1)$$

则
$$f(x)=\hat{w}\ast {\hat{x}}^T$$
有多个y值，则所有x值可以用矩阵X进行表示：
X = [ x 11 x 12 . . . x 1 d 1 x 21 x 22 . . . x 2 d 1 . . . . . . . . . . . . 1 x m 1 x m 2 . . . x m d 1 ] X = \left [[Math Processing Error] $$\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& 1\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}$$\right] X=⎣⎢⎢⎡​x11​x21​...xm1​​x12​x22​...xm2​​............​x1d​x2d​...xmd​​1111​⎦⎥⎥⎤​
y也可用m行1列的矩阵表示：
y = [ y 1 y 2 . . . y m ] y = \left [[Math Processing Error] $$\begin{array}{c}{y}_1\\ y_2\\ .\\ .\\ .\\ y_m\end{array}$$\right] y=⎣⎢⎢⎢⎢⎢⎢⎡​y1​y2​...ym​​⎦⎥⎥⎥⎥⎥⎥⎤​
此时，SSE表示为：
$$SSE=||y-X{\hat{w}}^T|{|}_2^2=(y-X{\hat{w}}^T{)}^T(y-X{\hat{w}}^T)=E(\hat{w})$$
根据最小二乘法的求解过程，令$E(\hat{w})$对$\hat{w}$求导方程取值为0，有
KaTeX parse error: No such environment: equation at position 879: …数，有如下规则： \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \\\frac{\parti…
简单记忆矩阵的求导，自身转置对自身求导=其它项的转置；

其中：
$$\partial {||\mathbf{y}-\mathbf{X}{\hat{\mathbf{w}}}^{\mathbf{T}}|{|}_2}^2$$
下方的2表示L2范式，即里面的内容相乘之后开根号，右上平方之后，消除根号。

进一步可得
$$X^{T}X{\hat{w}}^T=X^{T}y$$
要使得此式有解，等价于$X^{T}X$（也被称为矩阵的交叉乘积crossprod存在逆矩阵，若存在，则可解出）
$${\hat{w}}^T=(X^{T}X{)}^{-1}{X}^{T}y$$

最小二乘法的编程实现

例子：

X = A = [ 1 1 3 1 ] X = A = \left [[Math Processing Error] $$\begin{array}{cc}1& 1\\ 3& 1\end{array}$$\right] X=A=[13​11​]

y = B = [ 2 4 ] y = B = \left [[Math Processing Error] $$\begin{array}{c}2\\ 4\end{array}$$\right] y=B=[24​]

w ^ T = X T = [ a b ] \hat w ^T = X^T = \left [[Math Processing Error] $$\begin{array}{c}a\\ b\end{array}$$\right] w^T=XT=[ab​]

手动实现

X = A
X

  

 

  
1
  
2
 

tensor([[1., 1.],
        [3., 1.]])

  

 

  
1
  
2
 

y = B
y

  

 

  
1
  
2
 

tensor([[2.],
        [4.]])

  

 

  
1
  
2
 

X.t()

  

 

  
1
 

tensor([[1., 3.],
        [1., 1.]])

  

 

  
1
  
2
 

w = torch.mm(torch.mm(torch.inverse(torch.mm(X.t(),X)),X.t()),y)

  

 

  
1
 

这里直接套用上面推导出来的公式

w

  

 

  
1
 

tensor([[1.0000],
        [1.0000]])

  

 

  
1
  
2
 

调用函数求解

torch.lstsq(y, X)

  

 

  
1
 

torch.return_types.lstsq(
solution=tensor([[1.0000],
        [1.0000]]),
QR=tensor([[-3.1623, -1.2649],
        [ 0.7208, -0.6325]]))

  

 

  
1
  
2
  
3
  
4
  
5
 

对于lstsq函数来说，第一个参数是因变量张量，第二个参数是自变量张量，并且同时返回结果还包括QR矩阵分解的结果。

补充知识点：范数的计算

求解L2范数：

# 默认情况，求解L2范数，个元素的平方和开平方
torch.linalg.norm(t)

  

 

  
1
  
2
 

求解L1范数：

# 输入参数，求解L1范数，个元素的绝对值之和
torch.linalg.norm(t, 1)

  

 

  
1
  
2
 

总结

最小二乘法计算快速，但条件苛刻，需满足X存在逆矩阵。

文章来源: zstar.blog.csdn.net，作者：zstar-_，版权归原作者所有，如需转载，请联系作者。

原文链接：zstar.blog.csdn.net/article/details/120610234