机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。
对于本文中的标量对向量或矩阵求导这两种情况,如前文所说,以分母布局为默认布局。向量对向量求导,以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同,请先确认使用的求导布局是否一样。另外,由于机器学习中向量或矩阵对标量求导的场景很少见,本系列不会单独讨论这两种求导过程。
1. 用定义法求解标量对向量求导
标量对向量求导,严格来说是实值函数对向量的求导。即定义实值函数f:Rn→Rf:Rn→R,自变量xx是n维向量,而输出yy是标量。对于一个给定的实值函数,如何求解∂y∂x∂y∂x呢?
首先我们想到的是基于矩阵求导的定义来做,由于所谓标量对向量的求导,其实就是标量对向量里的每个分量分别求导,最后把求导的结果排列在一起,按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导,最后找到规律,得到求导的结果向量。
首先我们来看一个简单的例子:y=aTxy=aTx,求解∂aTx∂x∂aTx∂x
根据定义,我们先对xx的第i个分量进行求导,这是一个标量对标量的求导,如下:
∂aTx∂xi=∂∑j=1najxj∂xi=∂aixi∂xi=ai∂aTx∂xi=∂∑j=
文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。
原文链接:wenyusuran.blog.csdn.net/article/details/97754437
- 点赞
- 收藏
- 关注作者
评论(0)