《神经网络与深度学习》~人工神经网络激荡70年

目录

M-P模型

Hebb学习规则 

 Rosenblatt感知器

Minsky的打击 

复兴时期！

深度学习的突破

M-P模型

• 1943年神经元解剖学家McCulloch和数学天才Pitts发表文章提出神经元的数学描述和结构
• 神经元遵循“全或无”原则
• 证明了只要足够的简单神经元，在相互连接并同步运行的情况下，可以模拟任何计算函数
• 开创工作被认为是人工神经网络的起点

Hebb学习规则 

•  1949年，生理学家Hebb出版了《行为组织学》，描述了神经元权值的Hebb调整规则

• 提出“连接主义”

• 引入“学习假说”，两个神经元之间重复激活，连接权值加强

• 成为学习系统和自适应系统的灵感源泉

 Rosenblatt感知器

• 1957年，Rosenblatt提出感知器概念。掀起了神经网络研究第一次热潮
• 提出感知器收敛定理
• Widrow和Hoff引入最小均方误差准则（LMS）
• 整个60年代，人们任务只要很多感知器连接在一起，就可以完成大脑的工作

Minsky的打击 

•  1969年，Minsky和Papert出版《感知器》。指出：单层感知器存在致命缺陷，简单的神经网络只能运用于线性问题的求解，连易或这样的问题都难以解决。求解非线性问题的网络应具有隐层，但理论上还不能证明感知器扩展到多层是有意义的。单层感知器的局限性在多层情况下也不能被完全解决。
• Minsky是谁？MIT人工智能实验室联吅创始人，人工智能之父。美国科学院和美国工程院院士。他曾出任美国人工智能学会AAAI的第三任主席（1981-1982）。
• 1969年图灵奖

 形成了10年的低潮，唉

复兴时期！

• 1982年，加州工学院物理学家JJ.Hopfield提出了Hopfield神经网络模型 
• 1986年，Rumelhart, Hinton, Williams发展了BP算法（多层感知器的误差反向传播算法）

深度学习的突破

Hinton2006年的SCIENCE革命性突破。基于深度置信网络DBN提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，利用空间相对关系减少参数数目以提高训练性能。

Yann LeCun 是AI尤其是DL最知名的学者，他是Hinton的博士后，发明了CNN。

2016年AlphaGo

文章来源: kings.blog.csdn.net，作者：人工智能博士，版权归原作者所有，如需转载，请联系作者。

原文链接：kings.blog.csdn.net/article/details/86558030