读书笔记：深度学习（1）

欢迎来到深度学习的新世界

本篇文章开始写一个关于深度学习的系列笔记，主要围绕《深度学习》这本书展开

1.《深度学习》这本书为什么值得读？

原因之一：作者是科技大咖，跨界牛人是深度学习发展的亲历者。

名字叫做Terrence J. Sejnowski ，1947年出生，是普林斯顿大学的博士，哈佛大学医学院的博士后，美国科学院，工程院等学术机构的院士。熟悉的领域有：Computational Neuroscience, Independent Component Analysis, Boltzmann machine, NETtalk。本书从作者的角度探讨了深度学习的起源和成果。作为20世纪80年代开发神经网络学习算法的先行者和NIPS基金会的主席，亲身经历了过去30年机器学习和深度学习的发展过程。

原因之二：这是一本关于深度学习的过去、现在和未来的指南。

不过本书并不是对该领域发展历史的全面梳理，而是记录了这一领域重要概念的进步及其背后研究群体的个人观点。这本书本书时间跨度超过了60年。 这本书的全名是《深度学习：智能时代的核心驱动力量》，英文名字为《The Deep Learning Revolution_ Machine Intelligence Meets Human Intelligence》。其实翻译成《深度学习：当机器智能遇到人类只能更合适》2018年由麻省理工大学出版社出版。本书讲述了20世纪80年代一小群研究人员的故事，他们证明了基于大脑式计算的全新方法是可行的，从而为深度学习的发展奠定了基础。

原因三：了解深度学习可以为复杂难题找到方法

美国已经为“BRAIN计划”（英文全称为Brain Research through Advancing Innovative Neurotechnologies，即“通过推动创新型神经技术开展大脑研究计划”）注资50亿美元，欧洲、日本和许多其他国家或地区也在进行类似的投资。

在本书中，我提出了一个观点，即你无须担心人工智能将接管你的工作。人工智能会让你更聪明，让你所能实现的成就达到新的高度。就像工业革命时期蒸汽机放大了物理能力一样，人工智能也会放大认知能力。我们刚刚步入一个新的时代——信息时代。我们进入的新世界不仅会使我们变得更聪明，还会让我们更清楚地认识自己，从而回答古代的哲学先驱们最早提出的一系列问题。对于自身，我们又会得出哪些深刻的见解呢？

“Deep learning”的图片搜索结果  

2. 什么是深度学习？

深度学习是机器学习的一个分支，它根植于数学、计算机科学和神经科学。深度学习是数据密集型的，通过实例来学习如何解决难题，比如视觉对象识别、语音识别和自然语言翻译等。与早期的的专注编程不同，深度网络从数据中学习，就像婴儿了解周围世界那样，从睁开眼睛开始，慢慢获得驾驭新环境所需的技能。深度学习的起源可以追溯到20世纪50年代人工智能的诞生。关于如何构建人工智能，当时存在两种不同的观点：一种观点主张基于逻辑和计算机程序，曾主宰人工智能的研究和应用数十年；另一种观点则主张直接从数据中学习，经历了更长时间的摸索才逐渐成熟。

深度学习在近期取得的突破，并不是你从新闻报道中读到的那种一夜成功。从基于符号、逻辑和规则的人工智能向基于大数据和学习算法的深度学习网络的转变，其背后的故事通常并不为人所熟知。 

3. 人工智能与深度学习的关系是什么？

如果说人工智能是科技王冠上的钻石，而深度学习代表了其中一个承上启下的重要阶段。

人工智能近期取得的进展得益于大脑逆向工程（reverse engineering brains.）。就是说人工智能的发展得益于脑科学尤其是脑神经科学的发展。分层神经网络模型的学习算法受到了神经元之间交流方式的启发，并依据经验进行了改进。在网络内部，世界的复杂性转变为五彩缤纷的内部活动模式，这些模式是智能的元素。在20世纪80年代研究的网络模型很小，相比之下，现在的模型有数百万个人造神经元，深度达到了几十层。持久的努力、大数据和更强大的计算机运算能力使得深度学习在人工智能领域一些最困难的问题上取得了重大突破。

深度学习的发展机遇存储和计算能力大幅提升，成本大幅下降，也得益于互联网使得可以大量、低成本地地获得训练和测验数据。使得参数，算法可以不断地优化。

4. 当人类智能遇到人工智能会发生什么

地球上的生命充满了无数奥秘，但最具挑战性的也许是智能的本质。自然界充斥着各种形式的智能，从微小的细菌到复杂的人类智能，每种智能都适应了它在自然界中的位置。人工智能也将以多种形式出现，并在智能族谱中占据特殊的位置。随着基于深度神经网络的机器智能日渐成熟，它可以为生物智能提供一个新的概念框架。

人类的记忆并不可靠，对故事的每次复述都会导致记忆的偏差，这个过程叫作“重整记忆”。这本书中的故事延续了40多年，尽管有些对作者来说依然历历在目，就像昨天刚发生的一样，但那些故事在我的记忆中不断被复述时，有些细节已经悄悄地被改写了。

后续写作计划：

本书有两个相互交织的主题：人类智能是如何进化的，以及人工智能会如何演变。这两种智能之间的巨大差异在于，人类智能的进化经历了数百万年的时间，而人工智能在最近几十年才发展起来。尽管对于文化演变来说，这个速度仍然是快得出奇，但是过于谨小慎微可能并不是个正确的选择。

本书的第一部分提供了深度学习的动机和理解其起源所需的背景信息；第二部分解释了几种不同类型的神经网络架构中的学习算法；第三部分则探讨了深度学习对我们当下生活产生的影响，以及未来若干年可能产生的影响。 

后续我分别分三篇笔记来完成。敬请期待！

本文同时在心语新事公众号转载，欢迎关注！

作者|王凡新