《深度学习：主流框架和编程实战》——1.5　深度学习展望

1.5　深度学习展望

随着硬件计算能力的提升以及大规模数据集的出现，深度学习已经成为机器学习中一个重要的领域，下面对深度学习的一些模型进行介绍。

卷积神经网络（Convolutional Neural Network，CNN）是一类适用于处理图像数据的多层神经网络。CNN从生物学上的视觉皮层得到启发：视觉皮层存在微小区域的细胞对于特定区域的视野十分敏感，这就对应着CNN中的局部感知区域。在CNN中，图像中的局部感知区域被当作层次结构中的底层输入数据，信息通过前向传播经过网络中的各个层，每一层都由过滤器构成，以便能够获得观测数据的一些显著特征，局部感知区域能够获得一些基础的特征，还能提供一定程度对位移、拉伸和旋转的相对不变性。CNN通过结合局部感知区域、共享权重、空间或者时间上的降采样来充分利用数据本身包含的局部性等特征，优化网络结构；通过挖掘数据空间上的相关性，来减少网络中可训练参数的数量，以达到改进反向传播算法效率。

长短期记忆（Long Short-Term Memory，LSTM）网络主要适用于处理序列数据。LSTM网络是一种特殊的RNN（循环神经网络），但网络本质与RNN是一样的。在传统的神经网络模型中，网络的传输是从输入层到隐藏层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。这其中存在一定的问题，即传统的神经网络对于处理时序问题无能为力。LSTM网络可以解决长时期依赖的问题，主要是因为LSTM网络有一个处理器，其中放置了“三扇门”，分别称为输入门、遗忘门和输出门。一个信息进入LSTM网络当中，可以根据规则来判断是否有用，只有符合算法认证的信息才会留下，不符合的信息则通过遗忘门被“遗忘”。所以可以很好地处理序列数据。

受限玻耳兹曼机（RBM）是一种用随机神经网络来解释的概率图模型。RBM适用于处理语音、文本类数据。当使用RBM建立语音信号模型时，该模型使用对比散度（CD）算法进行有效训练，学习与识别任务关联性更高的特征来更好地得到信号的值。在文档分类问题中，直接将不规范的文档内容作为输入会产生过高的输入数据维数，而无法对其进行处理，因此有必要对文档进行预处理，选择词组出现的频率作为特征项以提取能够表示其本质特征的数据，使用RBM可从原始的高维输入特征中提取可高度区分的低维特征，然后将其作为支持向量机的输入进行回归分析，从而实现对文档的分类。

生成对抗式网络（GAN）适用于处理图像数据，估计样本数据的分布，解决图片生成问题。GAN包含一个生成模型（Generative Model）G和一个判别模型（Discriminative Model）D，生成模型G捕捉样本数据的分布，即生成图片；判别模型D是一个二分类器，判别图片是真实数据还是生成的。在训练过程中，首先固定一方，再更新另一个模型的参数，以此交替迭代，直至生成模型与判别模型无法提高自己，即判别模型无法判断一张图片是生成的还是真实的。模型的优化过程是一个二元极小极大博弈问题，在G和D的任意函数空间中，存在一个唯一的解，G恢复训练数据分布，D在任何地方都等于0.5。该网络可以为模拟型强化学习做好理论准备，在缺乏数据的情况下，可以通过生成模型来补足。

深度学习算法在大规模数据集下的应用取得突破性进展，但仍有以下问题值得进一步研究。

1）无标记数据的特征学习。当前，标记数据的特征学习占据主导地位，但是对于标记数据来说，一个相当困难的地方在于将现实世界的海量无标记数据逐一添加人工标签，是很费时费力且不现实的。所以，随着科学研究的发展，无标记数据的特征学习以及将无标记数据进行自动添加标签的技术会成为研究主流。

2）模型规模与训练速度、训练精度之间的权衡。一般地，在相同数据集下，模型规模越大，则训练精度越高，训练速度越慢。对于模型优化，诸如模型规模调整、超参数设置、训练时调试等，其训练时间会严重影响其效率。所以，如何在保证一定的训练精度的前提下提高训练速度是很有必要的一个研究课题。

3）大规模数据集的依赖性。深度学习最新的研究成果都依赖于大规模数据集和强大的计算能力，如果没有大量真实的数据集，没有相关的工程专业知识，探索新算法将会变得异常困难。

4）超参数的合理取值。深度神经网络以及相关深度学习模型应用需要足够的能力和经验来合理地选择超参数的取值，如学习速率、正则项的强度以及层数和每层的单元个数等，一个超参数的合理值取决于其他超参数的取值，并且深度神经网络中超参数的微调代价很大，所以有必要在超参数这个重要领域内做更进一步的研究。

在许多领域深度学习都表现出巨大的潜力，但深度学习作为机器学习的一个新领域现在仍处于发展阶段，仍然有很多工作需要开展，很多问题需要解决，尽管深度学习的研究还存在许多问题，但是现有的成功和发展表明深度学习是一个值得研究的领域。