内容提要

1）AI技术的发展困局，

2）人工智能与自然智能漫谈，

3）深度学习在“学习方式”上的自我突破，

4）深度学习在“学习框架”上的自我突破，

5）NI启发AI：人类视觉脑科学研究给CNN网络带来的启发，

6）NI启发AI：“大数据”和“大任务”的智能系统架构思考，

7）中国脑计划漫谈

  一、    AI技术的发展困局

图1

2020年5 月 29 日，Science 刊登了一篇标题为“Core progress in AI has stalled in some fields”的评论文章（图1）。在文章里，作者 Matthew Hutson 在文章中综述了众多回顾性研究，并总结道：一些开端时期的老神经网络架构如果经过简单的结构微调，在相应的足量数据集支撑下，其性能足以匹敌当前获得SOTA的所谓最新的神经网络架构（图2）。

图2

作者在文章中引用了大量对当前关键的AI建模技术进行分析的回顾性研究，并通过分析汇总认为，当前很多领域的AI进展结果主要有两种：

     1-研究员声称的核心创新只是对原算法的微改进；

     2-新技术与多年前的旧算法在性能上相差不大。

具体到技术层面，Matthew Hutson在文章中对比分析的AI建模方法包括：神经网络剪枝、神经网络推荐算法、深度度量学习、对抗性训练、语言模型。以神经网络剪枝领域为例，Matthew Hutson提到有研究通过对比 81 相关篇论文，并在对照条件下对数百个模型进行修剪后，明显发现神经网络剪枝这一领域并没有标准化的基准和指标。换句话说，当前最新论文发表的技术很难进行量化，所以，很难确定该领域在过去的三十年中取得了多少进展。这种量化难的问题主要表现在：

1 -许多论文虽然声明提高了技术水平，但忽略了与其他也号称取得了SOTA的方法进行比较。这种忽略体现两个方面，一个是忽略 2010 年之前的剪枝技术，另一个是忽略了现在的剪枝技术。

2 -数据集和架构都呈现“碎片化”，各种所谓的SOTA方法并非是在统一的数据集上进行了公平的比较。根据统计，81 篇论文一共使用了 49 个数据集、132 个体系结构和 195 个（数据集、体系结构）组合。

3 -评价指标“碎片化”。各家论文在算法评估上各自采用不同的评价指标，因此很难横向比较论文之间的结果。

4 -模型评估中的混淆变量多。诸如初始模型的准确度和效率、训练和微调中的随机变化等混淆变量的存在使得模型间优劣的定量分析变得十分困难。

总体而言，目前以深度学习为核心的人工智能技术已到了算法人员可感知的技术瓶颈关口。“有多少人工就有多少智能”的有监督学习神经网络学习方法开始尽显疲态。如何突破现有瓶颈，打开人工智能技术往更高效、更有效、更稳定、更可解释等方面发展的天花板，是需要当前人工智能领域和自然智能研究领域一起协同探索的一个关键方向。

所幸，当前已有脑科学的认知神经科学研究领域专家积极参与到人工智能可解释性、甚至AI智能系统框架改进方面的协同研究上来。期待这种交叉协作为AI和NI（Natural Intelligent）的发展互成动力与助力。这也是中国脑科学计划“一体两翼”的框架设计和项目雄心的初心体现。

文献：

1-Eye-catching advances in some AI fields are not real | Science | AAAS https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real

2-Overfitting in adversarially robust deep learning  https://arxiv.org/abs/2002.11569