DNN深度神经网络

1. 从感知机到神经网络

    在感知机原理小结中,我们介绍过感知机的模型,它是一个有若干输入和一个输出的模型,如下图:

    1042406-20170220110637351-839081092.png

   输出和输入之间学习到一个线性关系,得到中间输出结果:

image.png

          接着是一个神经元激活函数:                                            

image.png

          从而得到我们想要的输出结果1或者-1.

          这个模型只能用于二元分类,且无法学习比较复杂的非线性模型,因此在工业界无法使用。

          而神经网络则在感知机的模型上做了扩展,总结下主要有三点:

                1.加入了隐藏层,隐藏层可以有多层,增强模型的表达能力,如下图实例,当然增加了这么多隐藏层模型的复杂度也增加了好多。

image.png

          2.输出层的神经元也可以不止一个输出,可以有多个输出,这样模型可以灵活的应用于分类回归,以及其他的机器学习领域比如降维和聚类灯。多个神经元输出的输出层对应的一个实例如下图,输出层现在有4个神经元了。

image.png

          3.对激活函数做扩展,感知机的激活函数是sign(z),虽然简单但是处理能力有限,因此神经网络中一般使用的其他的激活函数,比如我们在逻辑回归里面使用过的Sigmoid函数,即:

image.png