第3章

A Guide to Convolutional Neural Networks for Computer Vision

神经网络基础

3.1引言

在详述CNN之前，我们在本章中提供了人工神经网络的简介，包括它们的计算机制以及历史背景。神经网络受到哺乳动物大脑皮层工作的启发。然而，重要的是，这些模型与人脑的工作、规模和复杂性并不十分相似。可以将人工神经网络模型理解为一组基本处理单元，它们紧密地互连并且在给定输入上操作以处理信息并生成期望的输出。基于信息在网络中传播的方式，可以将神经网络分为两个通用类别。

1.前馈神经网络

前馈网络中的信息流动仅在一个方向上发生。如果将网络视为以神经元作为其节点的图形，则节点之间的连接使得图形中没有循环。这些网络架构可称为有向无环图（DAG）。 示例包括多层感知机(MLP)和卷积神经网络(CNN)，我们将在后续章节中详细讨论。

2.反馈神经网络

顾名思义，反馈网络具有形成有向循环的连接。 该架构允许它们操作并生成任意大小的序列。 反馈网络具有记忆能力，可以在其内部存储器中存储信息和序列关系。 这种架构的示例包括循环神经网络（RNN）和长短时记忆（LSTM）神经网络。

我们分别在3.2节和3.3节中提供前馈和反馈网络的示例架构。对于前馈网络，我们首先研究MLP，它是这种架构的一个简单案例。在第4章中，我们将详细介绍CNN，它们也以前馈方式工作。对于反馈网络，我们研究RNN。由于我们主要关注CNN，因此对RNN的深入研究超出了本书的范围。感兴趣的读者可以参考［Graves et al.2012］中关于RNN的详细论述。