简介

多层感知器，是指包含1个或多个隐层的前馈神经网络。

多层感知器的特点为：

u第0层为输入层，最后一层为输出层，中间层为隐层。 

u整个网络无反馈，信号从输入层向输出层单向传播，整个网络为有向无环图。

u激活函数多使用连续非线性函数，如logistic函数。

u可看成多层logistic回归模型的组合。

u具有解决复杂模式分类的能力，解决简单感知不能解决的线性不可分问题。

其可以解决单层感知器不能解决异或的问题(线性不可分问题)，可以用来作多元分类问题，例如手写数字识别。

反向传播算法是在Rumelhart 以及Hinton 在1986年在nature上发表出的一篇文章介绍。在该文章发表之前，神经网络又开始焕发青春(神经网络研究寒冬)，原因是该算法可以很好的解决神经网络的模型参数训练问题。以下是该文章：

Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. nature, 1986, 323(6088): 533.

以下是我个人在学习李宏毅(Hung-yi Lee)教授课程的内容，其课程讲的反向传播算法很生成，也很容易理解。以下是课程的地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

同时，李教授在YouTobe上也讲解了很多其他深度学习算法的课程，都非常不错，有兴趣的读者可以观看：https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ

学习神经网络，我们知道常用的梯度下降算法，首先需要定义损失函数。如下图所示，我们有多个样本，我们定义所有样本的总损失函数：

参考内容：

https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ

http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN backprop.ecm.mp4/index.html

另外本博客的CSDN地址为：https://blog.csdn.net/qy20115549/article/details/86499891