学习总结

一、矩阵分解

机器学习中常见的矩阵分解有特征分解和奇异值分解。

先提一下矩阵的特征值和特征向量的定义

• 若矩阵 $A$ 为方阵，则存在非零向量 $x$ 和常数 $\lambda$ 满足 $Ax=\lambda x$，则称 $\lambda$ 为矩阵 $A$ 的一个特征值，$x$ 为矩阵 $A$ 关于 $\lambda$ 的特征向量。
• $A_{n\times n}$ 的矩阵具有 $n$ 个特征值，${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$ 其对应的n个特征向量为 ${\mathbf{u}}_1，{\mathbf{u}}_2，\cdots ，{\mathbf{u}}_n$
• 矩阵的迹(trace)和行列式(determinant)的值分别为

$$\mathrm{tr}(\mathrm{A})=\sum _{i=1}^n{\lambda }_i|\mathrm{A}|=\prod _{i=1}^n{\lambda }_i$$

矩阵特征分解：$A_{n\times n}$ 的矩阵具有 $n$ 个不同的特征值，那么矩阵A可以分解为 $A=U\Sigma U^T$.

其中 Σ = [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 0 0 ⋱ ⋮ 0 0 ⋯ λ n ] U = [ u 1 , u 2 , ⋯   , u n ] ∥ u i ∥ 2 = 1 \Sigma=\left[

奇异值分解：对于任意矩阵 $A_{m\times n}$，存在正交矩阵 $U_{m\times m}$ 和 $V_{n\times n}$，使其满足 $A=U\Sigma V^T{U}^{T}U=V^{T}V=I$，则称上式为矩阵 $A$ 的特征分解。

二、信息论

熵(Entropy)

信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量。

假定当前样本集合X中第i类样本 $x_i$ 所占的比例为$P(x_i)(i=1,2,...,n)$，则X的信息熵定义为：
$$H(X)=-\sum _{i=1}^{n}P(x_i){\log }_{2}P(x_i)$$
H(X)的值越小，则X的纯度越高，蕴含的不确定性越少

联合熵

两个随机变量X和Y的联合分布可以形成联合熵，度量二维随机变量XY的不确定性：
$$H(X,Y)=-\sum _{i=1}^n\sum _{j=1}^{n}P(x_i,y_j){\log }_{2}P(x_i,y_j)$$

条件熵

在随机变量X发生的前提下，随机变量Y发生带来的熵，定义为Y的条件熵，用H(Y|X)表示，定义为：
H ( Y ∣ X ) = ∑ i = 1 n P ( x i ) H ( Y ∣ X = x i ) = − ∑ i = 1 n P ( x i ) ∑ j = 1 n P ( y j ∣ x i ) log ⁡ 2 P ( y j ∣ x i ) = − ∑ i = 1 n ∑ j = 1 n P ( x i , y j ) log ⁡ 2 P ( y j ∣ x i )

条件熵用来衡量在已知随机变量X的条件下，随机变量Y的不确定。 熵、联合熵和条件熵之间的关系：$H(Y|X)=H(X,Y)-H(X)$.

互信息

$$I(X;Y)=H(X)+H(Y)-H(X,Y)$$

相对熵

相对熵又称KL散度，是描述两个概率分布P和Q差异的一种方法，记做D(P||Q)。在信息论中，D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布。

• 离散形式：$D(P||Q)=\sum P(x)\log \frac{P(x)}{Q(x)}$.
• 连续形式：$D(P||Q)=\int P(x)\log \frac{P(x)}{Q(x)}$.

交叉熵

一般用来求目标与预测值之间的差距，深度学习中经常用到的一类损失函数度量，比如在对抗生成网络( GAN )中
D ( P ∥ Q ) = ∑ P ( x ) log ⁡ P ( x ) Q ( x ) = ∑ P ( x ) log ⁡ P ( x ) − ∑ P ( x ) log ⁡ Q ( x ) = − H ( P ( x ) ) − ∑ P ( x ) log ⁡ Q ( x )

交叉熵：$H(P,Q)=-\sum P(x)\log Q(x)$.

文章来源: andyguo.blog.csdn.net，作者：山顶夕景，版权归原作者所有，如需转载，请联系作者。

原文链接：andyguo.blog.csdn.net/article/details/121392339