《智能系统与技术丛书 生成对抗网络入门指南》—1.2.2神经网络与深度学习

1.2.2　神经网络与深度学习

       神经网络是一种实现机器学习的技术，旨在模拟人脑神经网络的运作机制。1943年，抽象的神经元模型被首次提出。1949年心理学家Hebb提出了“学习率“这一概念，即信息在人脑神经细胞的突触上传递时，强度是可以变化的。于是研究人员们开始用调整权值的方法进化机器学习算法。1958年，计算科学家Rosenblatt提出了由两层神经元组成的单层神经网络，可以完成线性分类任务。

       1986年，BP算法的提出解决了两层神经网络所需要的复杂计算量问题，这个算法在两层神经网络（输入层和输出层）中增加了一个中间层。但尽管使用了BP算法，一次神经网络的训练仍然耗时太久，局部最优解问题作为困扰训练优化的一大问题使得神经网络的优化较为困难。

       2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度学习”的概念，并增加了两个优化技术—“预训练”（pre-training）和“微调”（fine-tuning）。这两个技术的运用可以让神经网络的权值找到一个接近最优解的值，并使得对整个网络进行优化训练的学习时间大幅度减少。

       深度学习实际上指的是深度神经网络学习，普通神经网络由于训练代价较高，一般只有3～4层，而深度神经网络由于采用了特殊的训练方法加上一些技术算法，可以达到8～10层。深度神经网络能够捕捉到数据中的深层联系，从而能够得到更精准的模型，而这些联系不容易被普通的机器学习方法所发觉。见图1-13。

图1-13　从单层、两层到多层神经网络