GPU发展历史：从图形加速到人工智能计算的演进之路

一、引言

GPU（Graphics Processing Unit，图形处理器）是现代计算机系统中非常重要的硬件组成部分。

最初，GPU 的设计目标非常简单：帮助计算机更高效地处理图形和图像，减轻 CPU 在图形渲染方面的负担。然而，随着计算机图形学、游戏产业、科学计算以及人工智能技术的发展，GPU 的功能和定位发生了巨大变化。

如今，GPU 不仅是游戏和图形渲染的核心硬件，更成为高性能计算（HPC）、深度学习、大语言模型以及自动驾驶等领域的重要计算基础设施。

回顾 GPU 的发展历史，可以发现其经历了从固定功能图形加速、可编程图形处理、通用 GPU 计算，到 AI 专用加速的多个阶段。

本文将从技术演进的角度，梳理 GPU 的发展历程。

二、GPU的起源：早期图形加速时代（1970—1990年）

2.1 CPU承担全部图形计算

在早期计算机系统中，并不存在今天意义上的独立 GPU。

计算机的图形显示主要依赖 CPU 和简单的视频显示控制器完成。CPU 不仅需要执行操作系统和应用程序，还需要处理图形绘制、像素计算以及显示缓冲区更新等工作。

随着计算机图形界面和电子游戏的发展，图形处理任务越来越复杂，CPU 的负担也逐渐增加。

特别是在 3D 图形技术逐渐兴起之后，三维模型、光照计算、纹理映射以及几何变换都需要大量计算资源。

仅仅依靠 CPU 已经难以满足实时图形渲染的性能需求。

2.2 专用图形加速芯片出现

为了提高图形处理效率，硬件厂商开始研发专门用于图形处理的加速芯片。

这些芯片可以承担部分图形处理任务，例如：

• 图形绘制和像素操作。

• 显存管理。

• 图像显示控制。

• 二维图形加速。

这一阶段的图形加速硬件通常采用固定功能电路，能够执行特定的图形操作，但灵活性比较有限。

它们为后来独立 GPU 的诞生奠定了技术基础。

三、独立GPU诞生：3D图形加速时代（1990—2000年）

3.1 3D游戏推动GPU发展

20世纪90年代，个人计算机和3D游戏产业迅速发展。

传统 CPU 已经难以独立完成复杂的实时三维渲染任务，因此市场开始出现专门用于 3D 图形加速的硬件。

1996年，3dfx 发布了 Voodoo Graphics 图形加速卡，在当时的 3D 游戏市场产生了重要影响。

<插图：3dfx Voodoo Graphics 显卡>

它能够加速纹理映射、Z-buffer 深度处理以及三角形光栅化等操作，大幅提升了 3D 游戏的画面表现和运行速度。

3.2 NVIDIA与GPU概念的正式提出

1999年，NVIDIA 发布 GeForce 256，并将其称为世界上首款 GPU。

GeForce 256 集成了硬件几何变换、光照处理、三角形设置和渲染引擎等功能。

其中，硬件 T&L（Transform and Lighting，几何变换与光照）是重要的技术突破。

过去需要 CPU 执行的部分几何计算，现在可以交给 GPU 完成。

这标志着 GPU 从简单的图形加速器逐渐发展成为具有较完整图形处理能力的独立处理器。

这一时期的 GPU 主要特点是：

• 以 3D 图形渲染为核心任务。

• 采用固定功能流水线。

• 主要执行预先定义的图形处理操作。

• 通过专用硬件提高图形处理效率。

四、可编程GPU时代（2000—2006年）

随着 3D 图形技术不断发展，游戏开发者希望能够更加自由地控制图形渲染过程。

传统固定功能流水线已经无法满足复杂的视觉效果需求。

于是，可编程 GPU 开始出现。

4.1 顶点着色器和像素着色器

2001年前后，GPU 开始逐步支持可编程着色器。

其中最重要的两个组成部分是：

顶点着色器（Vertex Shader）

主要负责处理三维模型的顶点数据，例如：

• 顶点坐标变换。

• 法线计算。

• 光照相关计算。

• 顶点属性处理。

像素着色器（Pixel Shader）

主要负责处理光栅化后的像素或片元，例如：

• 纹理采样。

• 颜色计算。

• 光照效果。

• 特殊视觉效果。

通过着色器编程，开发者能够更加灵活地控制 GPU 的图形处理流程。

4.2 GPU逐渐具备可编程能力

2002年，DirectX 9 引入 Shader Model 2.0，进一步推动了可编程图形管线的发展。

GPU 不再只是执行固定的图形操作，而是能够运行开发者编写的着色器程序。

这使 GPU 的计算能力和应用范围得到了明显扩展。

不过，这一时期的 GPU 仍然主要围绕图形渲染设计，顶点处理和像素处理通常具有不同的硬件资源。

五、统一着色器架构时代（2006—2010年）

5.1 传统GPU架构的问题

早期 GPU 通常采用独立的顶点处理单元和像素处理单元。

这种架构存在一定的资源利用率问题。

例如，在某些场景中，顶点计算任务较少，而像素计算任务较多。此时顶点处理单元可能处于闲置状态，而像素处理单元却需要承担大量工作。

这种固定资源分配方式限制了 GPU 的整体利用效率。

5.2 NVIDIA G80与统一着色器架构

2006年，NVIDIA 发布基于 G80 架构的 GeForce 8800 GTX。

它采用了统一着色器架构，将原本独立的顶点处理和像素处理资源统一起来。

GPU 内部由大量通用计算单元组成，可以根据任务需求执行不同类型的着色器程序。

这种架构带来了几个重要变化：

• 顶点和像素处理资源可以统一调度。

• 提高了硬件资源利用率。

• 增强了 GPU 的并行处理能力。

• 为通用 GPU 计算奠定了硬件基础。

统一着色器架构是 GPU 发展历史上的重要转折点。

GPU 开始从专用图形处理器向更通用的并行计算处理器演进。

六、通用GPU计算时代（2007—2015年）

6.1 GPGPU概念出现

GPGPU（General-Purpose Computing on Graphics Processing Units），即通用 GPU 计算。

其核心思想是：利用 GPU 大规模并行计算的能力，执行传统图形渲染之外的通用计算任务。

例如：

• 矩阵运算。

• 科学计算。

• 图像处理。

• 数值模拟。

• 数据分析。

GPU 通常具有大量计算核心，能够同时执行大量相似的计算任务，因此在数据并行计算场景中具有明显优势。

6.2 CUDA改变GPU计算生态

2006年，NVIDIA 正式宣布 CUDA 平台，并于2007年推出 CUDA 1.0。

CUDA（Compute Unified Device Architecture）是一种面向 NVIDIA GPU 的通用并行计算平台和编程模型。

CUDA 使开发者能够使用类似 C/C++ 的编程方式开发 GPU 程序，而不必将通用计算任务转换成图形渲染操作。

CUDA 的出现具有重要意义：

1. 降低了 GPU 通用计算的开发门槛。

2. 提供了线程、线程块和网格等编程抽象。

3. 支持大量并行线程执行。

4. 建立了完整的 GPU 计算软件生态。

6.3 GPU进入科学计算领域

随着 CUDA 的发展，GPU 开始被广泛应用于高性能计算领域。

在气象模拟、分子动力学、物理仿真和工程计算等领域，GPU 能够通过大规模并行计算加速复杂任务。

与此同时，AMD 也通过自己的 GPU 计算技术和软件生态推动通用 GPU 计算的发展。

GPU 的定位逐渐从图形处理器扩展为高性能并行计算设备。

七、深度学习推动GPU快速发展（2012—2020年）

7.1 AlexNet与深度学习革命

2012年，深度学习领域发生了重要突破。

AlexNet 在 ImageNet 图像识别竞赛中取得显著成绩，其训练过程使用了 NVIDIA GPU。

这一成果证明，GPU 不仅能够加速图形渲染和科学计算，也非常适合深度神经网络训练。

深度学习中的大量计算本质上是矩阵乘法和张量运算，而这些操作具有很强的数据并行特征。

GPU 能够同时处理大量矩阵元素，因此在神经网络训练中具有明显优势。

7.2 GPU架构针对AI进行优化

随着深度学习需求不断增加，GPU 厂商开始针对 AI 计算优化硬件架构。

2016年，NVIDIA 发布 Pascal 架构，其中 Tesla P100 是代表性产品之一。

2017年，Volta 架构推出，并在 Tesla V100 中引入 Tensor Core。

Tensor Core 是专门用于加速矩阵运算的计算单元，能够显著提升深度学习训练和推理性能。

之后，NVIDIA 又推出 Turing 和 Ampere 等架构，进一步增强 GPU 的 AI 计算能力。

7.3 GPU成为AI基础设施

这一时期，GPU 的应用范围迅速扩大：

• 图像分类和目标检测。

• 自然语言处理。

• 语音识别。

• 自动驾驶。

• 推荐系统。

• 大规模神经网络训练。

GPU 不再只是计算机中的图形设备，而逐渐成为人工智能基础设施的重要组成部分。

八、大模型时代的GPU发展（2020年至今）

8.1 大语言模型推动GPU需求爆发

近年来，以 Transformer 为代表的深度学习架构推动了大语言模型的快速发展。

GPT、BERT 等模型的参数规模不断增加，训练数据量和计算需求也持续增长。

训练一个大型语言模型通常涉及大量矩阵乘法、注意力计算和张量运算。

这对 GPU 提出了更高要求：

• 更强的矩阵计算能力。

• 更大的显存容量。

• 更高的显存带宽。

• 更快的 GPU 之间互联能力。

• 更高效的低精度计算能力。

8.2 NVIDIA Hopper架构

2022年，NVIDIA 发布 Hopper 架构，代表产品为 H100。

H100 针对大型 AI 模型训练和推理进行了大量优化。

其重要技术包括：

• 第四代 Tensor Core。

• Transformer Engine。

• 支持 FP8 等低精度计算。

• 更强大的多 GPU 互联能力。

这些技术进一步提升了大型神经网络的计算效率。

8.3 NVIDIA Blackwell架构

2024年，NVIDIA 发布 Blackwell 架构。

代表产品包括 B200 和 GB200。

Blackwell 进一步提升了 AI 计算能力，针对大语言模型训练、推理以及大规模 AI 集群进行了优化。

其技术方向包括：

• 更高性能的 Tensor Core。

• 更先进的低精度计算。

• 更大的模型计算与内存支持能力。

• 更高效的多 GPU 系统互联。

• 面向大规模 AI 数据中心的系统级优化。

GPU 的发展已经不再局限于单颗芯片的性能提升，而是逐渐演变为芯片、内存、互联网络和软件平台协同发展的系统工程。

九、GPU主要厂商及其技术路线

目前，GPU 市场主要由 NVIDIA、AMD 和 Intel 等厂商参与。

9.1 NVIDIA

NVIDIA 是 GPU 行业的重要推动者。

其技术发展路线可以概括为：

• GeForce：面向消费级图形处理。

• Quadro（现主要整合为 RTX PRO 品牌）：面向专业图形工作站。

• Tesla：历史上的数据中心计算产品品牌。

• A系列、H系列、B系列：面向数据中心和 AI 计算。

• CUDA：构建 GPU 通用计算软件生态。

NVIDIA 的核心优势不仅在于 GPU 硬件性能，还在于 CUDA、cuDNN、TensorRT 等软件生态。

9.2 AMD

AMD 也是 GPU 行业的重要厂商。

其主要产品和技术包括：

• Radeon：消费级 GPU 产品。

• Radeon PRO：专业图形产品。

• Instinct：数据中心和 AI 计算加速器。

• ROCm：GPU 通用计算软件平台。

AMD 通过持续提升 GPU 计算性能、显存容量和软件生态竞争力，积极参与 AI 计算市场。

9.3 Intel

Intel 传统上以 CPU 产品闻名，近年来也不断加强 GPU 领域的布局。

其 GPU 产品包括：

• Intel Arc：面向消费级图形市场。

• Intel Data Center GPU：面向数据中心计算。

Intel 也在推动 oneAPI 等异构计算软件生态，希望为 CPU、GPU 等不同计算设备提供统一的开发方式。

十、GPU与CPU的区别

CPU 和 GPU 都是处理器，但两者在架构设计和应用场景上存在明显差异。

简单来说：

CPU 更像一个擅长处理复杂任务的管理者，而 GPU 更像一个拥有大量计算人员的并行计算团队。

CPU 负责复杂控制和任务调度，GPU 则负责执行大量可以并行处理的计算任务。

在现代计算机系统中，两者通常协同工作，而不是相互替代。

十一、GPU未来的发展趋势

随着人工智能和高性能计算的发展，GPU 未来将呈现以下几个趋势。

11.1 更强的AI计算能力

未来 GPU 将继续优化 Tensor Core 等专用计算单元，支持更多低精度数据格式，例如 FP8、FP4 等，以提高 AI 模型训练和推理效率。

11.2 更大的显存容量和更高的带宽

大模型需要存储大量参数、中间激活值和缓存数据。

因此，GPU 将持续向更大容量显存、更高带宽以及先进内存封装技术发展。

11.3 多GPU协同计算

单颗 GPU 的计算能力已经难以满足超大规模模型训练需求。

未来 GPU 集群将通过高速互联技术，实现数百甚至数千颗 GPU 的协同计算。

11.4 Chiplet与先进封装技术

随着芯片制造工艺不断接近物理极限，单芯片性能提升面临越来越大的挑战。

通过 Chiplet、小芯片互联和先进封装技术，可以将不同功能的芯片集成在一个系统中，提高整体计算能力和制造灵活性。

11.5 GPU软件生态持续发展

GPU 的竞争不仅仅是硬件性能的竞争，也是软件生态的竞争。

未来 CUDA、ROCm、oneAPI 等计算平台将继续发展，编译器、计算库、模型优化工具和分布式计算框架也将不断完善。

十二、总结

回顾 GPU 的发展历史，可以看到它经历了几个重要阶段：

1. 早期图形加速阶段：主要负责二维图形和简单显示任务。

2. 3D图形加速阶段：通过专用硬件实现实时三维渲染。

3. 可编程GPU阶段：引入顶点着色器和像素着色器。

4. 统一着色器阶段：实现更加灵活的计算资源调度。

5. 通用GPU计算阶段：通过 CUDA 等平台进入科学计算领域。

6. 深度学习阶段：成为神经网络训练和推理的重要硬件。

7. 大模型时代：发展为大规模 AI 计算基础设施。

从最初的图形加速芯片，到今天支持大语言模型训练的高性能计算平台，GPU 的发展体现了计算机体系结构从串行计算向大规模并行计算演进的重要趋势。

可以预见，随着人工智能、机器人、自动驾驶、科学模拟和高性能计算的持续发展，GPU 仍将在未来计算技术中发挥重要作用。

GPU 的历史不仅是硬件性能不断提升的历史，更是计算模式不断演进的历史。