深度学习技术的发展展望：人工智能 & 自然智能（二）

内容提要

1）AI技术的发展困局，

2）人工智能与自然智能漫谈，

3）深度学习在“学习方式”上的自我突破，

4）深度学习在“学习框架”上的自我突破，

5）NI启发AI：人类视觉脑科学研究给CNN网络带来的启发，

6）NI启发AI：“大数据”和“大任务”的智能系统架构思考，

7）中国脑计划漫谈

一、    人工智能与自然智能漫谈

深度学习是神经网络技术发展过程中的集大成者。追溯神经网络发展史，神经网络起源于生理和心理学家在神经科学领域中对神经元工作机制的研究和抽象，并随着人类对大脑视觉加工机制的深入研究而不断发展。从认知神经科学角度来看AI发展的每个关键环节的发展中，都有一个重要的参与者在推动，那就是心理学家和认知科学家。

神经网络架构从开始就致力于模拟人类大脑神经元的突触连接工作原理，因而神经网络也被称为是人工智能领域的“联结主义”流派。

1959-1962年期间，获得了1981年的诺贝尔医学奖的David和Wiesel通过对猫的大脑初级视觉皮层研究发现，初级视觉皮层中不同的神经元对各种空间位置和方向偏好不同，在猫的大脑的初级视觉皮层（V1）中的神经元会响应视觉环境中特定特征的刺激（称之为感受野机制）。后续不断积累的视知觉通路研究表明，动物大脑的视觉皮层具有层次结构。眼睛将看到的景象成像在视网膜上，从视网膜传来的信号首先到达初级视觉皮层（primary visual cortex），即V1皮层，V1皮层简单神经元对一些细节、特定方向的图像信号敏感。V1皮层处理之后将信号传导到V2皮层，V2皮层将边缘和轮廓信息表示成简单形状，然后传递给V4皮层中的神经元进行处理，V4皮层对颜色信息敏感。最终，复杂物体在下颞叶皮层（inferior temporal cortex）被表示出来（图1）。

图1

如图1所示，大脑对视觉刺激的加工会逐级经过视觉皮层的V1， V2, V4区域进行加工，从而最终提取整个视觉刺激目标为一个人类能理解的抽象概念。深度学习网络是非常简单粗暴地模拟了种分层结构（图2）。

图2

深度学习网络主要由输入层、中间隐含层和输出层三大部分组成，模拟了大脑视觉皮层的分层处理机制，只不过因为现有的神经网络效率远不如大脑皮层，所以在实现过程中，通过加大网络分层数量来增强整体网络的表现。而不同层之间的人工神经元通过连接系数进行连接，模拟的是神经元之间的突触连接。

现在，随着神经网络可视化技术的发展，有充分的观测证据表明，训练好的深度学习网络从浅层到深层的确是在学习所输入物体不同维度上的特征，并且这些特征维度也的确是从简单到抽象的排列。比如，最浅层的网络层学习的是点、线维度的特征，更深层的学习的是面维度的特征，更深的是整体形状的特征。

实践证明，深度学习网络模拟的是大脑视觉皮层从局部到整体的加工架构，而深度学习网络也恰恰是在计算机视觉领域最先获得了巨大成功。

此外需认识到，当前的深度学习网络模拟的理论是人类视知觉中的“从局部到整体”的视觉加工理论并取得了巨大成功，而其实学术界还有别的有影响力的视觉认知加工理论。

中科院生物物理所脑与认知科学国家重点实验室的陈霖院士，也是我的博士后导师在30年多前提出了 “从整体到局部”的拓扑视觉加工理论，从现在的深度学习网络技术发展来看，highway网络和残差网络的连接结构，是部分符合陈院士的拓扑优先视觉加工理论的。而陈院士的这种视觉加工理论将来是否会影响计算机视觉神经网络的建模，我们可以拭目以待。

从实践来看，在很长时间里，人工智能的过分依赖计算机计算理论的做法恰恰给它今天在可靠性、可解释性、泛化能力等方面的危机埋下了伏笔。如何开发真正“智能”的AI，或许需要认知科学家，心理学家和神经科学家持续深入地对“自然智能（NI）”进行深入研究。 如果我们需要让人工智能进步， 向他们取经就看起来很合理。

模拟生物大脑、认识自然智能理当是实现更高层次人工智能的必由之路，但是从当下的人工智能学者的角度，这并发坦途。人工智能神经网络的早期发展史，应该说是来自于对脑科学的直接取经， 然而深度学习神经网络的发展壮大却是局部由于对这条道路的背离。深究Hinton、Lecun等人提出的当代深度卷积网络CNN连续打破视觉处理任务的记录、宣布深度学习时代开始的技术根源，这一股深度学习AI的崛起来自于深度学习专家对脑科学（NI）的背离。 CNN虽然直接模拟了大脑视皮层结构的模拟， 利用了层级编码， 局部网络连接， 池化这样和生物直接相关的原理。但是， 其网络的训练方法，却来自一种完全非生物的方法。 由于信息存储在无数神经元构成的网络连接里， 如何让它学进去， 也是最难的问题。很久以前，人们使用的学习方法是Hebian learning 的生物学习方法， 这种方法实用起来极为困难。 Hinton等人放弃这条道路而使用没有生物支撑但更加高效的反向传播算法， 使得最终训练成功。 从此数据犹如一颗颗子弹打造出神经网络的雏形 ，虽然每次只改一点点， 最终当数据的量特别巨大， 却发生一场质变。

CNN能够在2012 年爆发是因为那一年人们提出了Alexnet。 而Alexnet比起之前的Lenet一个关键性的微小调整在于使用Relu，所谓线性整流单元替换了之前的Sigmoid作为激活函数。Simoid 函数才是更加具有生物基础的学习函数， 然而能够抛弃模拟大脑的想法使用Relu， 使得整个网络的信息流通通畅了很多。

神经网络虽然在诞生之初多次吸收了生物学的原理本质， 而其最终的成功却在于它大胆的脱离生物细节， 使用更加讲究效率的数理工科思维。 可见，我们在探索更具“自然智能”的“人类智能”的漫漫长路中，既不要陷于形而上的纯生物模拟上，也不要陷于形而下的纯计算理论挖掘上，以如何能实际解决问题为根本目标，或许能让我们能更快地多路径逼近我们想要追求的高效、低耗能、可解释、可泛化的“类脑智能”。

参考资料：https://www.zhihu.com/question/54424980/answer/696282202