第1章  神经网络基础

　　自计算机发展以来，人们逐渐使用计算机来代替繁杂冗余的计算及任务。在传统的编程方法中，我们需要告诉计算机如何去做，人为地将大问题划分为许多小问题，精确定义任务以便计算机执行。这些方法在解决图像识别、语音识别和自然语言处理等领域的疑难问题时，往往效果不佳；而使用神经网络处理问题时，不需要我们告诉计算机如何分解问题，而是由神经网络自发地从观测数据中进行学习，并找到解决方案。

　　深度学习作为目前最热门的技术研究方向之一，为许多通过传统方法解决不了的问题提供了另一种思路。本书面对的读者需要具备基本的数学知识和计算机知识。本节将对神经网络的基础做简单的回顾。

　　本章将从以下两个方面进行介绍。

* 1.1节将从神经元到感知机再到BP算法，对神经网络的基础做概述。

* 1.2节将对卷积神经网络的结构、核心概念进行简单介绍，这是当前深度学习模型的基础。

1.1  神经网络的生物基础与数学模型

　　深度学习并不是近几年才诞生的全新技术，而是基于传统浅层神经网络发展起来的深层神经网络的别称。本节将从神经网络的生物学基础到它的优化算法，对神经网络的基础做概述。

1.1.1  神经元

　　人工神经网络（Artificial Neural Network）简称神经网络（Neural Network，NN），是人类模拟生物神经网络的结构和功能提出的数学模型，广泛应用于计算机视觉等领域。

　　人工神经网络与生物神经网络有大量的相似之处，例如两者最基础的单元都是神经元。神经元又称神经细胞，是生物神经网络的基本组成，其外观和大小在神经系统中的差异很大，但都具有相同的结构体、胞体、树突和轴突。

　　胞体又名为核周体，由内质网、微管、游离核糖体、神经丝和核组成。轴突和树突是神经元的突起，在神经元间传递电信号。神经元的功能是接受信号并对其做出反应、传导兴奋、处理并储存信息以及发生细胞之间的联结等，有这些功能，动物才能迅速对环境的变化做出整合性的反应。

　　神经元之间相互连接，当某一神经元处于“兴奋”状态时，其相连神经元的电位将发生改变，若神经元电位改变量超过了一定的数值（也称为阈值），则相连的神经元被激活并处于“兴奋状态”，向下一级连接的神经元继续传递电位改变信息。信息从一个神经元以电传导的方式跨过细胞之间的联结（即突触），传给另一个神经元，最终使肌肉收缩或腺体分泌。

　　神经元可以处理信息，也可以以某种目前还未知的方式存储信息。神经元通过突触的连接使数目众多的神经元组成比其他系统复杂得多的神经系统。从神经元的结构特性和生物功能可以得出结论：神经元是一个多输入、单输出的信息处理单元，并且对信息的处理是非线性的。

　　基于上述情形，1943年McCulloch和Pitts提出了MP模型，这是一种基于阈值逻辑算法的神经网络计算模型，由固定的结构和权重组成。

　　在MP模型中，某个神经元接受来自其余多个神经元的传递信号，多个输入与对应连接权重相乘后输入该神经元进行求和，再与神经元预设的阈值进行比较，最后通过激活函数产生神经元输出。每一个神经元具有空间整合特性和阈值特性。

　　MP模型把神经元抽象为一个简单的数学模型，模拟生物神经元形式，成功证明了神经元能够执行逻辑功能，开创了人工神经网络研究的时代。从此神经网络的研究演变为两种不同的研究思路：一种是继续进行生物学原理方面的探究，着重关注大脑中信息传递与处理的生物学过程；另一种则演变为计算机学科，即神经网络在人工智能里的实际应用。后者的研究是模仿前者的原理机制。