1.什么是激活函数？

激活函数是输入值和输出值之间的映射关系。比如现在有一个函数y=2x，当你的输入值x等于1时，输出值y就等于2。当你的输入值x等于2时，输出值y就等于4。

2.激活函数的作用是什么？

引入激活函数是为了增加神经网络模型的非线性，使得神经网络可以逼近任何非线性函数。如果没有激活函数每层都相当于矩阵相乘，不管模型叠加了多少层，各层也是矩阵相乘而已，模型依然是线性的，不能拟合非线性模型。

3.常用的激活函数

1.ReLU函数

2.Tanh函数

3.Sigmoid函数

4.softmax函数

5.Leaky ReLU函数

6.PReLU函数

7.RReLU函数

8.ELU函数

9.Maxout函数

10.SELU函数