Softmax到AMSoftmax(附可视化代码和实现代码)

Softmax

个人理解：在训练的时候，加上角度margin，把预测出来的值减小，往0那里挤压，离标注距离更大，减少训练得分，加大loss，增加训练收敛难度。

不明白的有个问题？减去m后，如果出现负数怎么办？

以下有的内容参考：

https://zhuanlan.zhihu.com/p/97475133

softmax是归一化指数函数。首先，它是一个归一化函数，因为它的分母是  ；再次，它是指数函数，因为有函数  。所以我们使用Softmax的作用有两点：
一. 将所有值的范围归纳到[0, 1]之间；
二. 通过指数函数可以扩大分布间的差异性，即达到“马太效应”——强者越强，弱者越弱。

softmax公式如下：

下图1是线性函数 yi=xiwj  (红线)和Softmax函数

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/117219150