一、为什么深度学习需要 GPU?
深度学习模型的核心计算主要集中在大量数值运算上,例如:
- 矩阵乘法(Matrix Multiplication)
- 向量运算(Vector Operations)
- 卷积运算(Convolution)
- 张量运算(Tensor Operations)
- 激活函数计算
- 梯度计算与参数更新
以一个简单的全连接层为例:
假设:
- 输入矩阵 X 的形状为 B\times D
- 权重矩阵 W 的形状为 D\times H
- 偏置向量 b 的形状为 H
那么输出矩阵 Y 的形状为:
其中,每个输出元素都需要执行一次长度为 D 的乘加计算。
当 Batch Size、输入维度和隐藏层维度不断增大时,计算量会迅速增长。
对于矩阵乘法:
如果:
那么计算复杂度约为:
深度学习中的大量计算都可以转换为类似的矩阵和张量运算。
GPU 的优势就在于:它能够同时执行大量相互独立或依赖关系较弱的计算任务。
二、CPU 与 GPU 的架构差异
CPU 和 GPU 并不是简单的性能高低关系,而是针对不同计算任务设计的处理器。
1. CPU:面向通用计算与复杂控制
CPU(Central Processing Unit,中央处理器)主要负责通用计算。
典型特点:
- 核心数量相对较少。
- 单个核心具备较强的计算能力。
- 擅长复杂控制逻辑和分支判断。
- 拥有较大的缓存体系。
- 擅长低延迟、串行或复杂依赖任务。
CPU 的典型工作包括:
- 操作系统调度。
- 程序控制流程。
- 文件与网络 I/O。
- 数据预处理。
- 复杂逻辑判断。
- 任务调度与资源管理。
2. GPU:面向大规模并行计算
GPU(Graphics Processing Unit,图形处理器)最初主要用于图形渲染。
图形渲染需要同时处理大量顶点、像素和纹理数据,这类任务具有高度并行性。
GPU 逐渐发展出适合通用并行计算的架构。
典型特点:
- 拥有大量计算单元。
- 能够同时调度大量线程。
- 适合执行相同或相似的计算操作。
- 具备较高的显存带宽。
- 针对矩阵乘法等运算提供专用硬件。
3. CPU 与 GPU 对比
| 对比维度 | CPU | GPU |
|---|---|---|
| 核心数量 | 相对较少 | 通常大量计算核心 |
| 单核能力 | 较强 | 通常更强调整体吞吐量 |
| 设计目标 | 通用计算、低延迟 | 大规模并行、高吞吐 |
| 控制逻辑 | 擅长复杂分支 | 更适合规则并行任务 |
| 缓存体系 | 通常较大 | 更强调并行计算与数据吞吐 |
| 内存 | 系统内存 | 专用显存或统一内存体系 |
| 擅长任务 | 系统调度、逻辑处理 | 矩阵计算、图形渲染、张量运算 |
可以将两者的设计思路概括为:
flowchart TB
A["计算任务"] --> B{"任务类型"}
B -->|"复杂控制、分支判断"| C["CPU"]
B -->|"大量规则、重复计算"| D["GPU"]
C --> E["少量高性能核心"]
E --> F["低延迟通用计算"]
D --> G["大量并行计算单元"]
G --> H["高吞吐并行计算"]
F --> I["适合通用程序"]
H --> J["适合深度学习计算"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意:现代 CPU 也拥有多核、SIMD 向量指令和并行计算能力,现代 GPU 也具有复杂的调度和缓存机制。两者的区别在于硬件资源分配和设计侧重点,而不是 CPU 只能串行、GPU 只能并行。
三、GPU 为什么擅长并行计算?
理解 GPU 的关键,是理解它如何组织和执行大量计算任务。
1. 数据并行
深度学习中的很多计算都具有数据并行特征。
例如,对一个包含 100 万个元素的张量执行 ReLU:
每个元素的计算都可以独立完成:
计算 y_1 不需要等待 y_2,不同元素之间没有数据依赖。
因此,可以将这些计算任务分配给不同的 GPU 线程并行执行。
flowchart TB
A["输入张量"] --> B["拆分为多个数据元素"]
B --> C["线程 1:计算 x1"]
B --> D["线程 2:计算 x2"]
B --> E["线程 3:计算 x3"]
B --> F["线程 N:计算 xN"]
C --> G["输出张量"]
D --> G
E --> G
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
数据并行非常适合:
- 矩阵乘法。
- 卷积计算。
- 张量加减。
- 激活函数。
- 批量归一化。
- 部分损失函数计算。
2. SIMT 执行模型
GPU 常见的编程执行模型是 SIMT(Single Instruction, Multiple Threads,单指令多线程)。
其核心思想是:
多个线程执行相同的指令逻辑,但处理不同的数据。
例如:
y[i] = x[i] * 2
大量线程可以同时执行这段逻辑,每个线程处理不同的索引。
NVIDIA GPU 中,线程通常按照 Warp 组织和调度。
一个 Warp 通常包含 32 个线程。
同一个 Warp 中的线程按照统一的指令流执行,但拥有各自的线程状态和数据。
需要注意:
- SIMT 不等同于 SIMD。
- SIMD 是单条指令操作多个数据元素。
- SIMT 从多个线程的角度组织并行执行。
- GPU 硬件可以通过向量化、分组执行等机制实现高效计算。
3. Warp 与线程调度
在 NVIDIA GPU 中,Warp 是重要的调度单位。
一个 Warp 通常包含 32 个线程,线程被组织在 Streaming Multiprocessor(SM,流式多处理器)上执行。
当某个 Warp 因内存访问等原因等待数据时,SM 可以切换执行其他就绪 Warp。
这种机制有助于隐藏内存访问延迟。
例如:
flowchart TB
A["GPU"] --> B["SM 0"]
A --> C["SM 1"]
A --> D["SM N"]
B --> E["Warp 0"]
B --> F["Warp 1"]
B --> G["Warp N"]
E --> H["Thread 0 ... Thread 31"]
F --> I["Thread 0 ... Thread 31"]
G --> J["Thread 0 ... Thread 31"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
这里需要理解三个层次:
| 层级 | 含义 |
|---|---|
| GPU | 整个图形处理器 |
| SM | GPU 内部的流式多处理器 |
| Warp | 由多个线程组成的调度与执行单位 |
Warp 数量、SM 数量和每个 SM 的资源配置取决于 GPU 架构。
4. 分支分化:GPU 并行计算的限制
GPU 并不是所有计算任务都能高效并行。
如果同一个 Warp 中的线程执行不同分支,可能产生分支分化(Branch Divergence)。
例如:
if x[i] > 0:
y[i] = x[i] * 2
else:
y[i] = x[i] + 1
如果同一个 Warp 中一部分线程进入 if,另一部分进入 else,硬件可能需要分阶段执行不同路径,并屏蔽当前路径中不参与计算的线程。
这会降低并行执行效率。
因此,GPU 通常更适合:
- 大量重复计算。
- 数据访问模式规则。
- 线程之间依赖较少。
- 分支逻辑相对简单的任务。
四、为什么矩阵乘法是 GPU 的核心优势?
矩阵乘法是深度学习中最重要的计算操作之一。
神经网络中的全连接层、注意力机制、Embedding 投影以及大量其他模块,都包含矩阵乘法。
1. 矩阵乘法的计算过程
给定:
其中:
输出:
每个输出元素:
总乘加运算数量约为:
这里采用一次乘法和一次加法分别计数的 FLOPs 约定。
当矩阵规模很大时,计算量非常可观。
2. GPU 如何加速矩阵乘法?
GPU 会将矩阵计算拆分为大量小规模计算任务。
这些任务可以被分配给不同线程块和计算单元。
典型过程包括:
- 将矩阵划分为多个 Tile。
- 将需要的数据加载到更快的片上存储。
- 执行局部矩阵乘加。
- 累积中间计算结果。
- 将最终结果写回显存。
这种方式能够提升数据复用率,减少重复访问显存。
3. Tensor Core:专门加速矩阵计算的硬件
现代 NVIDIA GPU 中,Tensor Core 是专门用于加速矩阵运算的硬件单元。
它与传统 CUDA Core 的侧重点不同。
| 硬件单元 | 主要职责 |
|---|---|
| CUDA Core | 通用标量、向量及整数和浮点运算 |
| Tensor Core | 高吞吐矩阵乘加运算 |
| SM | 组织和调度线程,包含多种计算与存储资源 |
Tensor Core 可以高效执行矩阵乘加操作:
它支持多种数据精度,具体支持范围取决于 GPU 架构,例如:
- FP16
- BF16
- TF32
- FP8
- INT8
- 更低精度的特定格式
并不是所有 GPU 都支持上述全部格式。
Tensor Core 的价值在于:将深度学习中高频出现的矩阵运算交给专用硬件执行,从而获得更高的计算吞吐量。
五、显存带宽为什么如此重要?
GPU 的计算能力很强,但计算单元需要持续获得数据。
如果数据无法及时从内存中读取,计算单元就可能处于等待状态。
因此,显存带宽是 GPU 性能的重要指标。
1. 显存与系统内存
GPU 通常拥有独立的显存,例如 GDDR 或 HBM。
| 类型 | 主要用途 |
|---|---|
| 系统内存(RAM) | CPU 运行程序、保存普通数据 |
| GPU 显存(VRAM) | 保存 GPU 计算所需的数据、模型参数和中间结果 |
| HBM | 高带宽内存,常用于高性能计算和数据中心 GPU |
显存容量决定了 GPU 能够容纳多少数据。
显存带宽决定了单位时间内能够传输多少数据。
这两个指标不能混为一谈。
2. 显存带宽
显存带宽通常以 GB/s 或 TB/s 表示。
理论带宽可以近似表示为:
实际计算时,需要将总线宽度从 bit 转换为 Byte。
例如,假设:
- 显存数据速率为 20 Gbps。
- 总线宽度为 256 bit。
理论带宽为:
实际可用带宽通常低于理论值,具体取决于访问模式、缓存命中率和硬件实现。
3. 计算密度与 Roofline 模型
判断一个计算任务是否受计算能力限制,还是受内存带宽限制,可以使用 Roofline Model(屋顶线模型)。
其中一个核心指标是算术强度(Arithmetic Intensity):
表示每读取或写入一个 Byte 数据,执行多少次浮点运算。
性能上限可以近似表示为:
其中:
- PeakCompute:硬件理论峰值计算能力。
- Bandwidth:内存带宽。
- AI:算术强度。
由此可以区分两类任务:
计算受限(Compute-bound)
计算量相对较大,主要受 GPU 计算单元性能限制。
内存受限(Memory-bound)
数据传输量相对较大,主要受显存带宽或内存访问效率限制。
这也是为什么 GPU 的实际性能不能只看 TFLOPS。
4. 为什么小模型不一定能充分利用 GPU?
GPU 启动计算任务、分配线程和传输数据都存在开销。
如果计算任务规模太小:
- GPU 计算单元可能无法充分利用。
- Kernel 启动开销占比可能很高。
- CPU 与 GPU 之间的数据传输可能成为瓶颈。
- 数据准备和同步时间可能超过实际计算时间。
因此,GPU 并不是所有程序的最佳选择。
对于大量小规模、低并行度的任务,CPU 可能更合适。
六、GPU 如何加速神经网络训练?
深度学习训练不仅包含前向传播,还包含反向传播和参数更新。
GPU 可以并行处理其中大量矩阵和张量运算。
1. 前向传播
以前面的全连接层为例:
GPU 可以并行执行矩阵乘法和偏置加法。
2. 损失计算
假设使用均方误差:
不同样本的误差可以并行计算,再通过归约操作得到最终损失。
3. 反向传播
反向传播的核心是链式法则。
以线性层为例:
假设损失对输出的梯度为:
则:
这些梯度计算同样包含大量矩阵乘法和归约操作,非常适合 GPU 加速。
4. 参数更新
以 SGD 为例:
其中:
- W_t:当前模型参数。
- \eta:学习率。
- \frac{\partial L}{\partial W_t}:当前梯度。
参数更新通常也由 GPU 上的张量运算完成。
5. 完整训练流程
flowchart TB
A["训练数据"] --> B["数据加载到 GPU"]
B --> C["前向传播"]
C --> D["计算损失"]
D --> E["反向传播"]
E --> F["计算参数梯度"]
F --> G["优化器更新参数"]
G --> H{"是否完成训练"}
H -->|"否"| C
H -->|"是"| I["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
GPU 加速的重点并不只是前向传播,而是整个训练过程中的大规模张量计算。
七、CUDA:GPU 通用计算的关键技术
CUDA(Compute Unified Device Architecture)是 NVIDIA 推出的并行计算平台和编程模型。
它让开发者能够使用 NVIDIA GPU 执行通用计算任务,而不再局限于图形渲染。
1. CUDA 的作用
CUDA 提供了:
- GPU 编程模型。
- GPU 线程组织与调度机制。
- GPU 内存管理。
- Kernel 编写与执行。
- GPU 数学计算库。
- 与 CPU 协同执行的运行时接口。
深度学习框架可以通过 CUDA 调用 GPU 完成计算。
2. CUDA Kernel
Kernel 是运行在 GPU 上的函数。
例如,一个简单的向量加法 Kernel:
__global__ void vector_add(
const float* A,
const float* B,
float* C,
int N
) {
int i = blockIdx.x * blockDim.x + threadIdx.x;
if (i < N) {
C[i] = A[i] + B[i];
}
}
其中: