线性代数是机器学习中不可分割的一部分，包括矩阵运算、矩阵行列式、矩阵分解等。

1. 矩阵基础

1.1. 什么是线性代数？

讨论线性方程和线性运算的学科就叫线性代数。

有助于理解AI背后的原理。

1.2. 矩阵

1.3. 矩阵加法

对应元素相加

只有行列相同才能相加

1.4. 矩阵乘法

1.4.1. 常数与矩阵相乘

每个元素乘以常数

1.4.2. 矩阵与矩阵相乘

i行元素与j列元素对应相乘再相加形成第i行第j列元素

前一个矩阵的列数必须与后一个矩阵的行数相等

1.5. 矩阵变换

矩阵的本质就是对向量空间中向量的变换

1.5.1. 二维旋转矩阵

二维旋转矩阵乘以二维向量相当于对二维向量进行旋转

1.5.2. 二维伸缩矩阵

二维伸缩矩阵乘以二维向量相当于对二维向量的x方向或y方向进行拉伸或压缩

1.6. 矩阵转置

矩阵的行列互换

（矩阵转置的更多内容可参见学习笔记|矩阵转置）

1.7. 特殊矩阵

1.7.1. 单位矩阵

AE=A

1.7.2. 对角矩阵

除主对角线外的元素都是0

1.7.3. 对称矩阵

1.7.4. 正交矩阵

2. 行列式

行列式本质上代表了一个数值

如果里面有未知数，它就是一个多项式

它可以看成面积或体积在欧几里德空间的推广

二阶行列式相当于平行四边形的面积

矩阵行列式的大小等于特征值的乘积

（行列式的更多内容可参见学习笔记|矩阵的行列式）

3. 矩阵分解

3.1. 特征值分解

特征值分解是最常用的分解

若Ax=λx，则称λ是矩阵A的一个特征值，x是特征值λ的一个特征向量。

Ax=λx

⇒Ax-λx=0

⇒(A-λE)x=0

⇒|A-λE|=0

上式称为特征方程，求解可得特征值。

（矩阵特征值的更多内容可参见学习笔记|矩阵的特征值）

如果矩阵与向量相乘不发生旋转，只发生伸缩，则该向量就是特征向量，伸缩的比例就是特征值。

称为特征值分解，其中

3.2. 奇异值分解

奇异值分解是更一般的分解，不仅适用于方正，还适用于非方正

其中U、V都为正交矩阵，Σ为对角矩阵（不一定是方阵），里面的元素是奇异值，并从大到小排列。

U代表m空间的旋转

V代表n空间的旋转

Σ代表m空间到n空间的拉伸与映射

机器学习领域中很多应用与奇异值分解相关，比如主成分分析法、线性判别分析、数据压缩与潜在主义分析等。

参考文献

1.https://blog.csdn.net/songbinxu/article/details/79677948
2.https://www.cnblogs.com/liuwu265/p/4714396.html