《深度学习：卷积神经网络从入门到精通》——2.3 导数公式
【摘要】 本书摘自《深度学习：卷积神经网络从入门到精通》——书中第2章，第2.3节，作者是李玉鑑、张婷、单传辉、刘兆英等。
2.3 导数公式
sigmoid函数的导数是：
（2.20）
双曲正切函数tanh的导数是：
（2.21）
校正线性单元ReLU的导数是：
（2.22）
如果x = (x1, x2, …, xn)T，那么逐元向量函数的导数是：
（2.23）
如果X = (xij)m×n，那么逐元矩阵函数的导数是：
（2.24）
如果a、b、c和x是n维向量，A、B、C和X是n阶矩阵，那么
（2.25）
（2.26）
（2.27）
（2.28）
（2.29）
（2.30）
（2.31）
（2.32）
如果用Tr(·)表示矩阵的迹函数（即计算矩阵的对角元素之和），那么不难得到：
（2.33）
（2.34）
如果U = F(X)是关于X的矩阵值函数且g(U)是关于U的实值函数，那么下面的链式法则成立：
?（2.35）
此外，关于矩阵迹函数Tr(·)还有如下偏导公式
（2.36）
（2.37）
（2.38）
（2.39）
（2.40）
（2.41）
（2.42）
（2.43）
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）