张志华：深度学习的今生前世

文/张志华

中文翻译初稿下载免费阅读，仅供研究学习使用

深度学习这个术语自2006年被正式提出后，在最近10年得到了巨大的发展，它使人工智能产生了革命性的技术突破，让我们切实地领略到人工智能改变人类生活的潜力。受人民邮电出版社的邀请，我的几位学生承担了Goodfellow, Bengio 和 Courville (后续简称他们为GBC)撰写的《Deep Learning》一书翻译工作。原著三位作者一直耕耘于机器学习领域的前沿，引领深度学习的发展潮流。

原著第一章关于深度学习的思想、历史发展等的论述深刻、透彻和精辟，也非常耐人回味。我们在阅读该章时启发良多，大有裨益。因此，我们决定把该章的译稿独立成文，并取名为《深度学习：今生前世》。我们期望把它发布出来和大家分享。由于其篇幅较长，为了方便快速抓住其核心思想，这里我们把其中关键的内容摘录出来，同时把我个人一些的体会也一并呈现给大家。

GBC指出：“人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，比如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭直觉轻易地解决”。为了解决这个挑战，他们提出让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念通过与某些相对简单的概念之间的关系定义。由此，GBC给出了深度学习的定义。具体地，“层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张‘‘深’’（层次很多）的图。基于这个原因，我们称这种方法为AI深度学习(deep learning)“。

因此，GBC认为：“深度学习是通向人工智能的途径之一“。 而且他们给出深度学习与机器学习之间的关系。GBC认为：”深度学习是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下运行的AI系统，并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）“。

GBC指出：“一般来说，目前为止深度学习已经经历了三次发展浪潮：20 世纪40 年代到60 年代深度学习的雏形出现在控制论(cybernetics) 中，20 世纪80 年代到90 年代深度学习以联结主义(connectionism) 为代表，并于2006 年开始，以深度学习之名复兴“。

谈到深度学习与脑科学或者神经科学的关系，GBC强调：“如今神经科学在深度学习研究中的作用被削弱，主要原因是我们根本没有足够的关于大脑的信息作为指导去使用它。要获得对被大脑实际使用算法的深刻理解，我们需要有能力同时监测（至少是）数千相连神经元的活动。我们不能够做到这一点，所以我们甚至连大脑最简单、最深入研究的部分都还远远没有理解”。值得注意的是，我国正致力于把人工智能和脑科学的交叉学科研究被提到战略地位，计划在”类脑智能“或”脑计算“等方面投入重点资助。且不论我国是否真有既懂人工智能又懂脑科学或神经科学的学者，我们都应该本着务实、理性的求是态度。唯有如此，我们才有可能在这一波人工智能发展浪潮中有所作为，而不是又成为一群观潮人。

进一步地，GBC指出：“媒体报道经常强调深度习与大脑的相似性。的确，深度学习研究者比其他机器学习领域（如核方法或贝叶斯统计）的研究者更可能地引用大脑作为影响，但大家不应该认为深度学习在尝试模拟大脑。现代深度学习从许多领域获取灵感，特别是应用数学的基本内容如线性代数、概率论、信息论和数值优化。尽管一些深度学习的研究人员引用神经科学作为灵感的重要来源，然而其他学者完全不关心神经科学“。的确，对于广大年青学者和一线的工程师们，我们是可以完全不用因不懂神经(或脑)科学而对深度学习、人工智能踯躅不前。数学模型、计算方法和应用驱动才是我们研究人工智能的可行之道。此外，我们诚然可以从哲学层面或角度来欣赏科学问题，但切不能从哲学层面来研究科学问题。

至于谈到人工神经网络在20世纪90年代中期的衰落，GBC分析了其原因。“基于神经网络和其他AI技术的创业公司开始寻求投资，其做法野心勃勃但不切实际。当AI研究不能实现这些不合理的期望时，投资者感到失望。同时，机器学习的其他领域取得了进步。比如，核方法和图模型都在很多重要任务上实现了很好的效果。这两个因素导致了神经网络热潮的第二次衰退，并一直持续到2007 年”。 “其兴也悖焉，其亡也忽焉‘’。这个教训也同样值得当今基于深度学习的创业界、工业界和学术界等的警醒。

最后，GBC总结并展望了深度学习：“深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴了我们关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。未来几年充满了进一步提高深度学习并将它带到新领域的挑战和机遇”。是的，深度学习、人工智能技术不是在我们头顶而是在我们脚下。

中文初译稿是我学生完成的，之后许多同行给出了大量富有建设性的修改意见，我本人也前后做了多次校对。即使这样，由于我们无论是中文还是英文能力都深感有限，译文还是比较生硬，而且我们特别担心未能完整地传达出原作者的真实思想和观点。因此，我们强烈地建议有条件的读者去读英文原著，也非常期待大家去GitHub指正我们的译文。

                                                                                            张志华  2017年1月25日于北大静园六院