学习总结

• 交换律：$\mathrm{tr}(AB)=\mathrm{tr}(BA)$，需要满足$A$、$B^T$同维度
• 行列式微分：$d|X|=|X|\mathrm{tr}\left(X^{-1}dX\right)$

一、标量函数的雅克比函数

标量函数$f(\mathbf{x})$，其中$x=[x_1,....,x_m{]}^T$ $\in$ $R^m$，即向量$x$的m个元素（$x_1,....,x_m$）视作m个变量。根据式子：
$$\mathrm{d}f\left(x_1,\cdots ,x_m\right)=\frac{\partial f}{\partial x_1}\mathrm{d}{x}_1+\cdots +\frac{\partial f}{\partial x_m}\mathrm{d}{x}_m$$

能够得到以向量$\mathbf{x}$为自变量的标量函数$f(\mathbf{x})$的全微分表达式： d f ( x ) = ∂ f ( x ) ∂ x 1   d x 1 + ⋯ + ∂ f ( x ) ∂ x m   d x m = [ ∂ f ( x ) ∂ x 1 , ⋯   , ∂ f ( x ) ∂ x m ] [ d x 1 ⋮ d x m ]

其中： ∂ f ( x ) ∂ x T = [ ∂ f ( x ) ∂ x 1 , ⋯   , ∂ f ( x ) ∂ x m ] d x = [ d x 1 , ⋯   , d x m ] T

上面的简记的式子又被成为微分法则的向量形式。
一个很重要的应用：
若令$$A=\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^T}$$则一阶微分可以写作迹函数形式：$$df(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^T}d\mathbf{x}=tr(Ad\mathbf{x})$$

二、关于迹函数的性质

2.1 常用性质

（1）【迹函数等于主对角线的和】性质：$$\mathrm{tr}\left(A^{T}B\right)=\sum _{i,j}{A}_{ij}{B}_{ij}$$
（2）矩阵微分和它的导数也有一个转置的关系，不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身，那么矩阵微分和向量微分可以统一表示，即：$$df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{X}}\right)}^{T}d\mathbf{X}\right)df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{T}d\mathbf{x}\right)$$
（3）微分的迹：$d\mathrm{tr}(X)=\mathrm{tr}(dX)$
（4）行列式微分：$d|X|=|X|\mathrm{tr}\left(X^{-1}dX\right)$

2.2 迹函数的技巧

• 标量的迹等于自己：$\mathrm{tr}(x)=x$；转置则迹不变
• 交换律：$\mathrm{tr}(AB)=\mathrm{tr}(BA)$，需要满足$A$、$B^T$同维度
• 加减法：$\mathrm{tr}(X+Y)=\mathrm{tr}(X)+\mathrm{tr}(Y),\mathrm{tr}(X-Y)=\mathrm{tr}(X)-\mathrm{tr}(Y)$
• 矩阵乘法和迹交换：$\mathrm{tr}\left((A\odot B{)}^{T}C\right)=\mathrm{tr}\left(A^T(B\odot C)\right)$，注意A，B，C的维度要相同

文章来源: andyguo.blog.csdn.net，作者：山顶夕景，版权归原作者所有，如需转载，请联系作者。

原文链接：andyguo.blog.csdn.net/article/details/121939438