《深度学习：卷积神经网络从入门到精通》——1.5　卷积神经网络的GPU实现和cuDNN库

1.5　卷积神经网络的GPU实现和cuDNN库

只采用CPU在大规模数据集中训练卷积神经网络的速度很慢，因此可以结合图形处理单元（Graphic Processing Unit，GPU）进行加速。GPU具有单指令多数据流结构，非常适合用一个程序处理各种大规模并行数据的计算问题。最常用的GPU是英伟达（Nvidia）生产的。编写GPU代码可在CUDA环境下进行。CUDA（Compute Unif?ied Device Architecture）是一种用于GPU通用计算的并行计算平台和编程模型。它以C语言为基础，并对C语言进行了扩展，能够在显卡芯片上执行程序。CUDA提供了一个深度神经网络的GPU加速库cuDNN（CUDA Deep Neural Network），完成了对卷积、池化、归一化和激活函数层等标准操作的快速实现。如果读者想了解更多的相关信息，可参考以下网站：

https://developer.nvidia.com/cuda-toolkit

https://developer.nvidia.com/deep-learning-software

https://developer.nvidia.com/cudnn