⚡半分钟⚡浅入浅出理解Softmax函数

❤坚持读Paper，坚持做笔记，坚持学习❤！！！
To Be No.1

哈哈哈哈

---

创作不易，过路能❤关注、收藏、点个赞❤三连就最好不过了

最近学习机器学习，项目也有用到分类，用到了Softmax函数。相信很多小伙伴都会用到。

简单说来，Softmax$⟶$归一化指数函数。

为什么说是指数函数呢？

下面来看一下

当我们在做回归的时候

左边是我们的估计值和输出，右边使我们的回归模型

当我们需要做分类的时候，左边的估计值标签只有0-1，而我们得到的$y$的值会有正有负，有大有小，若这样得到的损失函数$L$则会有很大的偏差，影响分类效果

故引入了Softmax函数，将$y$的值归一化到0-1之间。

将$y$归一化的Soft-max函数公式：
$$y_i^{\prime }=\frac{\exp \left(y_i\right)}{{\sum }_j\exp \left(y_i\right)}$$

且
1 > y i ′ > 0 ∑ y i ′ = 1

其中，分子分母的 $y_i$ 代表回归后的值，分母则是对 $y_i$ 做exponential的Summation，这个操作和归一化原理一样，只不过是将 $y_i$ 的值变为了统一的正值。

具体图解如下：

Caution

Softmax除了让$y_1、y_2、y_3....$变到0-1之间且和为1，更重要的是，将本来$y_1、y_2、y_3....$差距很大的值，Normalizaiton（归一化）之后会差距变得更大了。

比如上图的$y_1=3,y_2=1$差距为3倍，归一化之后，新的$y_1^{{}^{\prime }}=0.88,y_2^{{}^{\prime }}=0.12$，他们之间差距有0.88/0.12=7.3333循环倍，可见，Softmax的功能，通过exponential后差距会这么大。

这是在只有两三个$y_i$，当有多个的时候会想到用Sigmoid，会发现Softmax和Sigmoid的结果一样。

Summary

1. Softmax 让输入归一化到0-1之间。
2. 归一化后的值比原本的值之间的差距更大。

学习DeepLearning坚持！30天计划！！！

---

打卡 第 3 /30 Day!!!

ღ( ´･ᴗ･` )

❤

『
I met the girl under full-bloomed cherry blossoms, and my fate has begun to change.
』

文章来源: blog.csdn.net，作者：府学路18号车神，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/weixin_44333889/article/details/119520616