学习总结

（1）这个task所有求导布局都是分母布局。为了适配矩阵对矩阵的求导，这次的向量对向量的求导，也是以分母布局为准（和之前的不一样）。

（2）由于矩阵对矩阵求导的结果包含【克罗内克积，Kronecker积】，因此和之前的其他类型的矩阵求导不同，在机器学习算法优化中，一般不在推导的时候使用矩阵对矩阵的求导，除非只是做定性的分析。如果遇到矩阵对矩阵的求导不好绕过，一般可以使用机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则中第三节最后的几个链式法则公式来避免。

一、矩阵对矩阵求导的定义

假如有p×q矩阵F要对m×n的矩阵X求导，根据第一篇求导布局的定义，矩阵F的pq个元素要对矩阵X的mn个值分别求导，所以求导结果一共有mnpq个，求导的结果如何排列：

1.1 两种求导的定义：

（1）矩阵 $F$ 对矩阵 $X$中的每个值 $X_{ij}$ 求导，这样对于矩阵 $X$ 每一个位置 $(i,j)$求导得到一个矩阵$$\frac{\partial F}{\partial X_{ij}}$$可以理解为矩阵$X$的每个位置都被替换为一个p×q的矩阵，最后得到一个mp×nq的矩阵。

（2）和1类似，可以看做矩阵$F$中的每个值$F_{kl}$分别对矩阵 $X$ 求导，即矩阵 $F$中每一个位置$(k,l)$对矩阵$X$求导得到一个矩阵$\frac{\partial F_{kl}}{\partial X}$，可以理解为矩阵$F$的每个位置都被替换成一个m×n的矩阵，然后得到一个mp×nq的矩阵。

小结：但这两种定义在实际中很难用，不如用（三）微分法求导。

1.2 主流的矩阵对矩阵求导定义

现在主流的矩阵对矩阵求导定义是对矩阵先做向量化，然后使用向量对向量的求导。
这里的向量化一般使用列向量，即矩阵对矩阵的求导可以表示为：$$\frac{\partial F}{\partial X}=\frac{\partial vec(F)}{\partial \mathrm{vec}(X)}$$

对于矩阵F，列向量化，$\mathrm{vec}(F)$的维度是pq×1的向量，$\mathrm{vec}(X)$的维度是mn×1的向量。
最终求导的结果，使用分母布局，得到 mn×pq 的矩阵。

二、矩阵对矩阵求导的微分法

向量化的矩阵对矩阵求导，主要是为了使用类似于前面讲过的微分法求导。之前（三）标量对向量矩阵求导的微分法里有：
$$df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{X}}\right)}^{T}d\mathbf{X}\right)$$
矩阵对矩阵求导有：$$\mathrm{vec}(dF)=\frac{\partial \mathrm{vec}(F{)}^T}{\partial \mathrm{vec}(X)}\mathrm{vec}(dX)=\frac{\partial F^T}{\partial X}\mathrm{vec}(dX)$$
和之前标量对矩阵的微分法相比，这里的迹函数被矩阵向量化代替了。

2.1 矩阵向量化的主要运算法则

矩阵向量化的主要运算法则：

• 线性性质：$\mathrm{vec}(A+B)=\mathrm{vec}(A)+\mathrm{vec}(B)$
• 矩阵乘法：$\mathrm{vec}(AXB)=\left(B^T⨂A\right)\mathrm{vec}(X)$，其中$⨂$是克罗内克积
• 矩阵转置：$\mathrm{vec}\left(A^T\right)=K_{mn}\mathrm{vec}(A)$，其中$A$是m×n的矩阵，$K_{mn}$是mn×mn的交换矩阵，用于矩阵列向量化和行向量化之间的转换。
• 逐元素乘法：$\mathrm{vec}(A\odot X)=\mathrm{diag}(A)\mathrm{vec}(X)$，其中$\mathrm{diag}(A)$是mn×mn的对角矩阵，对角线上的元素是矩阵A按列向量化后排列出来的。

2.2 克罗内克积的主要运算法则

• $(A⨂B{)}^T=A^T⨂B^T$
• $\mathrm{vec}\left(a{b}^T\right)=b⨂a$
• $(A⨂B)(C⨂D)=AC⨂BD$
• $K_{mn}=K_{nm}^T,K_{mn}{K}_{nm}=I$

利用上面的性质，求出$\mathrm{vec}\left(dF\right)$关于$\mathrm{vec}\left(dX\right)$的表达式，即表达式左边的转置即为我们要求的 $\frac{\partial \mathrm{vec}(F)}{\partial \mathrm{vec}(X)}$ ，或者说 $\frac{\partial F}{\partial X}$。

三、矩阵对矩阵求导栗子

微分法求解矩阵对矩阵求导的栗子。

3.1 例题1

$$\frac{\partial AXB}{\partial X}$$

• 假设A，X，B都是矩阵，其中X是m×n的矩阵

（1）求 $dF$，和（三）微分法类似，有：$$dF=AdXB$$
（2）两边列向量化（注意在task3的微分法中我们是套上迹函数），通过矩阵向量化的性质2（即矩阵乘法：$\mathrm{vec}(AXB)=\left(B^T⨂A\right)\mathrm{vec}(X)$，其中$⨂$是克罗内克积），得到：$$\mathrm{vec}(dF)=\mathrm{vec}(AdXB)=\left(B^T⨂A\right)\mathrm{vec}(dX)$$
（3）得到求导结果：$$\frac{\partial AXB}{\partial X}={\left(B^T⨂A\right)}^T=B⨂A^T$$
（4）其中有特例：$$\frac{\partial AX}{\partial X}=I_n⨂A^T$$$$\frac{\partial XB}{\partial X}=B⨂I_m$$

3.2 例题2

$$\frac{\partial A\exp (BXC)D}{\partial X}$$
（1）求微分：$$dF=A[\mathrm{dexp}(BXC)]D=A[\exp (BXC)\odot (BdXC)]D$$
（2）两边列向量化： vec ⁡ ( d F ) = ( D T ⨂ A ) vec ⁡ [ exp ⁡ ( B X C ) ⊙ ( B d X C ) ] = ( D T ⨂ A ) diag ⁡ ( exp ⁡ ( B X C ) ) vec ⁡ ( B d X C ) = ( D T ⨂ A ) diag ⁡ ( exp ⁡ ( B X C ) ) ( C T ⨂ B ) vec ⁡ ( d X )

• 第一个和第三个等式用矩阵向量化性质2（矩阵乘法：$\mathrm{vec}(AXB)=\left(B^T⨂A\right)\mathrm{vec}(X)$，其中$⨂$是克罗内克积）
• 第二个等式用矩阵向量化性质4，即逐元素乘法：$\mathrm{vec}(A\odot X)=\mathrm{diag}(A)\mathrm{vec}(X)$，其中$\mathrm{diag}(A)$是mn×mn的对角矩阵，对角线上的元素是矩阵A按列向量化后排列出来的。

最终的结果：
$$\begin{gathered} \frac{\partial \mathrm{Aexp}(BXC)D}{\partial X}={\left[\left(D^T⨂A\right)\mathrm{diag}(\exp (BXC))\left(C^T⨂B\right)\right]}^T \\ =\left(C⨂B^T\right)\mathrm{diag}(\exp (BXC))\left(D⨂A^T\right) \end{gathered}$$

Reference

（1）https://www.cnblogs.com/pinard/p/10930902.html
（2）矩阵求导知识点总结：https://www.cnblogs.com/gyhhaha/p/11782212.html
（3）wiki百科：https://en.wikipedia.org/wiki/Matrix_calculus
（4）矩阵求导与矩阵微分—中科院博士大佬
（5）矩阵求导术（上）

文章来源: andyguo.blog.csdn.net，作者：山顶夕景，版权归原作者所有，如需转载，请联系作者。

原文链接：andyguo.blog.csdn.net/article/details/121635738