《深度学习：主流框架和编程实战》——1.2　统计学与深度学习

1.2　统计学与深度学习

统计学是一门古老的学科，其作为机器学习的理论基础这一事实在从20世纪60年代就开始被学术界所认可。直到20世纪90年代，伴随着统计学理论的基本成熟，研究者们开始尝试用统计学的方法分析并预测数据的分布，由此产生了著名的支持向量机算法，如今这种算法已被广泛应用于数据分析、模式识别、回归分析等各个领域。

1.2.1　统计学与深度学习的关系

深度学习作为机器学习中重要的分支，因此与统计学同样具有密不可分的关系。通常可以将统计学分为两大类，分别为用于组织、累加和描述数据中信息的描述统计学和使用抽样数据来推断总体的推断统计学。深度学习则是通过大量的样本数据学习——总体规则的方法，可见深度学习是统计学对实践技术的延伸。

另外，实际的应用领域中经常需要处理的数据都具有随机性和不确定性，对这些数据最好的描述方式就是通过概率来进行描述。例如，在图像识别中，若要对模糊或残缺的图像进行识别，即在不确定的条件下实现图像的正确识别，基于统计学的深度学习由于可以处理数据的随机性以及不确定性，因此可以在恶劣的条件下实现图像的精准识别。

深度学习的特点在于先设计能够自我学习的神经网络，然后将大量的数据输入网络中进行训练，通过训练神经网络能够从数据集中学到数据的内在结构和规律，从而对新数据做出预测。

从统计学的角度来看，深度学习用来训练的数据集即为样本，学习的过程即为对总体信息进行估计。对于无监督学习来说，每一个输入样本是一个向量，学习过程相当于要估计出总体的概率分布。而对于监督学习来说，每个输入样本x还对应一个期望的输出值y，称为label或target，那么学习的过程相当于要估计出总体的条件概率分布。这样，当系统遇到新的样本时，就能给出对应的预测值y。