返回专栏
· 14 分钟阅读

GPU 为什么适合深度学习?从并行计算到 CUDA 核心架构


一、为什么深度学习需要 GPU?

深度学习模型的核心计算主要集中在大量数值运算上,例如:

  • 矩阵乘法(Matrix Multiplication)
  • 向量运算(Vector Operations)
  • 卷积运算(Convolution)
  • 张量运算(Tensor Operations)
  • 激活函数计算
  • 梯度计算与参数更新

以一个简单的全连接层为例:

Y=XW+b

假设:

  • 输入矩阵 X 的形状为 B\times D
  • 权重矩阵 W 的形状为 D\times H
  • 偏置向量 b 的形状为 H

那么输出矩阵 Y 的形状为:

Y\in \mathbb{R}^{B\times H}

其中,每个输出元素都需要执行一次长度为 D 的乘加计算。

当 Batch Size、输入维度和隐藏层维度不断增大时,计算量会迅速增长。

对于矩阵乘法:

C=A\times B

如果:

A\in \mathbb{R}^{M\times K}
B\in \mathbb{R}^{K\times N}

那么计算复杂度约为:

O(MKN)

深度学习中的大量计算都可以转换为类似的矩阵和张量运算。

GPU 的优势就在于:它能够同时执行大量相互独立或依赖关系较弱的计算任务。

二、CPU 与 GPU 的架构差异

CPU 和 GPU 并不是简单的性能高低关系,而是针对不同计算任务设计的处理器。

1. CPU:面向通用计算与复杂控制

CPU(Central Processing Unit,中央处理器)主要负责通用计算。

典型特点:

  • 核心数量相对较少。
  • 单个核心具备较强的计算能力。
  • 擅长复杂控制逻辑和分支判断。
  • 拥有较大的缓存体系。
  • 擅长低延迟、串行或复杂依赖任务。

CPU 的典型工作包括:

  • 操作系统调度。
  • 程序控制流程。
  • 文件与网络 I/O。
  • 数据预处理。
  • 复杂逻辑判断。
  • 任务调度与资源管理。

2. GPU:面向大规模并行计算

GPU(Graphics Processing Unit,图形处理器)最初主要用于图形渲染。

图形渲染需要同时处理大量顶点、像素和纹理数据,这类任务具有高度并行性。

GPU 逐渐发展出适合通用并行计算的架构。

典型特点:

  • 拥有大量计算单元。
  • 能够同时调度大量线程。
  • 适合执行相同或相似的计算操作。
  • 具备较高的显存带宽。
  • 针对矩阵乘法等运算提供专用硬件。

3. CPU 与 GPU 对比

对比维度 CPU GPU
核心数量 相对较少 通常大量计算核心
单核能力 较强 通常更强调整体吞吐量
设计目标 通用计算、低延迟 大规模并行、高吞吐
控制逻辑 擅长复杂分支 更适合规则并行任务
缓存体系 通常较大 更强调并行计算与数据吞吐
内存 系统内存 专用显存或统一内存体系
擅长任务 系统调度、逻辑处理 矩阵计算、图形渲染、张量运算

可以将两者的设计思路概括为:

flowchart TB
    A["计算任务"] --> B{"任务类型"}

    B -->|"复杂控制、分支判断"| C["CPU"]
    B -->|"大量规则、重复计算"| D["GPU"]

    C --> E["少量高性能核心"]
    E --> F["低延迟通用计算"]

    D --> G["大量并行计算单元"]
    G --> H["高吞吐并行计算"]

    F --> I["适合通用程序"]
    H --> J["适合深度学习计算"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意:现代 CPU 也拥有多核、SIMD 向量指令和并行计算能力,现代 GPU 也具有复杂的调度和缓存机制。两者的区别在于硬件资源分配和设计侧重点,而不是 CPU 只能串行、GPU 只能并行。

三、GPU 为什么擅长并行计算?

理解 GPU 的关键,是理解它如何组织和执行大量计算任务。

1. 数据并行

深度学习中的很多计算都具有数据并行特征。

例如,对一个包含 100 万个元素的张量执行 ReLU:

ReLU(x)=\max(0,x)

每个元素的计算都可以独立完成:

y_i=\max(0,x_i)

计算 y_1 不需要等待 y_2,不同元素之间没有数据依赖。

因此,可以将这些计算任务分配给不同的 GPU 线程并行执行。

flowchart TB
    A["输入张量"] --> B["拆分为多个数据元素"]

    B --> C["线程 1:计算 x1"]
    B --> D["线程 2:计算 x2"]
    B --> E["线程 3:计算 x3"]
    B --> F["线程 N:计算 xN"]

    C --> G["输出张量"]
    D --> G
    E --> G
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

数据并行非常适合:

  • 矩阵乘法。
  • 卷积计算。
  • 张量加减。
  • 激活函数。
  • 批量归一化。
  • 部分损失函数计算。

2. SIMT 执行模型

GPU 常见的编程执行模型是 SIMT(Single Instruction, Multiple Threads,单指令多线程)。

其核心思想是:

多个线程执行相同的指令逻辑,但处理不同的数据。

例如:

y[i] = x[i] * 2

大量线程可以同时执行这段逻辑,每个线程处理不同的索引。

NVIDIA GPU 中,线程通常按照 Warp 组织和调度。

一个 Warp 通常包含 32 个线程。

同一个 Warp 中的线程按照统一的指令流执行,但拥有各自的线程状态和数据。

需要注意:

  • SIMT 不等同于 SIMD。
  • SIMD 是单条指令操作多个数据元素。
  • SIMT 从多个线程的角度组织并行执行。
  • GPU 硬件可以通过向量化、分组执行等机制实现高效计算。

3. Warp 与线程调度

在 NVIDIA GPU 中,Warp 是重要的调度单位。

一个 Warp 通常包含 32 个线程,线程被组织在 Streaming Multiprocessor(SM,流式多处理器)上执行。

当某个 Warp 因内存访问等原因等待数据时,SM 可以切换执行其他就绪 Warp。

这种机制有助于隐藏内存访问延迟。

例如:

flowchart TB
    A["GPU"] --> B["SM 0"]
    A --> C["SM 1"]
    A --> D["SM N"]

    B --> E["Warp 0"]
    B --> F["Warp 1"]
    B --> G["Warp N"]

    E --> H["Thread 0 ... Thread 31"]
    F --> I["Thread 0 ... Thread 31"]
    G --> J["Thread 0 ... Thread 31"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

这里需要理解三个层次:

层级 含义
GPU 整个图形处理器
SM GPU 内部的流式多处理器
Warp 由多个线程组成的调度与执行单位

Warp 数量、SM 数量和每个 SM 的资源配置取决于 GPU 架构。

4. 分支分化:GPU 并行计算的限制

GPU 并不是所有计算任务都能高效并行。

如果同一个 Warp 中的线程执行不同分支,可能产生分支分化(Branch Divergence)。

例如:

if x[i] > 0:
    y[i] = x[i] * 2
else:
    y[i] = x[i] + 1

如果同一个 Warp 中一部分线程进入 if,另一部分进入 else,硬件可能需要分阶段执行不同路径,并屏蔽当前路径中不参与计算的线程。

这会降低并行执行效率。

因此,GPU 通常更适合:

  • 大量重复计算。
  • 数据访问模式规则。
  • 线程之间依赖较少。
  • 分支逻辑相对简单的任务。

四、为什么矩阵乘法是 GPU 的核心优势?

矩阵乘法是深度学习中最重要的计算操作之一。

神经网络中的全连接层、注意力机制、Embedding 投影以及大量其他模块,都包含矩阵乘法。

1. 矩阵乘法的计算过程

给定:

C=A\times B

其中:

A\in \mathbb{R}^{M\times K}
B\in \mathbb{R}^{K\times N}

输出:

C\in \mathbb{R}^{M\times N}

每个输出元素:

C_{ij}=\sum_{k=1}^{K}A_{ik}B_{kj}

总乘加运算数量约为:

2MKN

这里采用一次乘法和一次加法分别计数的 FLOPs 约定。

当矩阵规模很大时,计算量非常可观。

2. GPU 如何加速矩阵乘法?

GPU 会将矩阵计算拆分为大量小规模计算任务。

这些任务可以被分配给不同线程块和计算单元。

典型过程包括:

  1. 将矩阵划分为多个 Tile。
  2. 将需要的数据加载到更快的片上存储。
  3. 执行局部矩阵乘加。
  4. 累积中间计算结果。
  5. 将最终结果写回显存。

这种方式能够提升数据复用率,减少重复访问显存。

3. Tensor Core:专门加速矩阵计算的硬件

现代 NVIDIA GPU 中,Tensor Core 是专门用于加速矩阵运算的硬件单元。

它与传统 CUDA Core 的侧重点不同。

硬件单元 主要职责
CUDA Core 通用标量、向量及整数和浮点运算
Tensor Core 高吞吐矩阵乘加运算
SM 组织和调度线程,包含多种计算与存储资源

Tensor Core 可以高效执行矩阵乘加操作:

D=A\times B+C

它支持多种数据精度,具体支持范围取决于 GPU 架构,例如:

  • FP16
  • BF16
  • TF32
  • FP8
  • INT8
  • 更低精度的特定格式

并不是所有 GPU 都支持上述全部格式。

Tensor Core 的价值在于:将深度学习中高频出现的矩阵运算交给专用硬件执行,从而获得更高的计算吞吐量。

五、显存带宽为什么如此重要?

GPU 的计算能力很强,但计算单元需要持续获得数据。

如果数据无法及时从内存中读取,计算单元就可能处于等待状态。

因此,显存带宽是 GPU 性能的重要指标。

1. 显存与系统内存

GPU 通常拥有独立的显存,例如 GDDR 或 HBM。

类型 主要用途
系统内存(RAM) CPU 运行程序、保存普通数据
GPU 显存(VRAM) 保存 GPU 计算所需的数据、模型参数和中间结果
HBM 高带宽内存,常用于高性能计算和数据中心 GPU

显存容量决定了 GPU 能够容纳多少数据。

显存带宽决定了单位时间内能够传输多少数据。

这两个指标不能混为一谈。

2. 显存带宽

显存带宽通常以 GB/s 或 TB/s 表示。

理论带宽可以近似表示为:

Bandwidth=数据传输速率\times 总线宽度

实际计算时,需要将总线宽度从 bit 转换为 Byte。

例如,假设:

  • 显存数据速率为 20 Gbps。
  • 总线宽度为 256 bit。

理论带宽为:

20\times 256\div 8=640\ GB/s

实际可用带宽通常低于理论值,具体取决于访问模式、缓存命中率和硬件实现。

3. 计算密度与 Roofline 模型

判断一个计算任务是否受计算能力限制,还是受内存带宽限制,可以使用 Roofline Model(屋顶线模型)。

其中一个核心指标是算术强度(Arithmetic Intensity):

AI=\frac{FLOPs}{Bytes}

表示每读取或写入一个 Byte 数据,执行多少次浮点运算。

性能上限可以近似表示为:

Performance\leq \min(PeakCompute,\ Bandwidth\times AI)

其中:

  • PeakCompute:硬件理论峰值计算能力。
  • Bandwidth:内存带宽。
  • AI:算术强度。

由此可以区分两类任务:

计算受限(Compute-bound)

计算量相对较大,主要受 GPU 计算单元性能限制。

内存受限(Memory-bound)

数据传输量相对较大,主要受显存带宽或内存访问效率限制。

这也是为什么 GPU 的实际性能不能只看 TFLOPS。

4. 为什么小模型不一定能充分利用 GPU?

GPU 启动计算任务、分配线程和传输数据都存在开销。

如果计算任务规模太小:

  • GPU 计算单元可能无法充分利用。
  • Kernel 启动开销占比可能很高。
  • CPU 与 GPU 之间的数据传输可能成为瓶颈。
  • 数据准备和同步时间可能超过实际计算时间。

因此,GPU 并不是所有程序的最佳选择。

对于大量小规模、低并行度的任务,CPU 可能更合适。

六、GPU 如何加速神经网络训练?

深度学习训练不仅包含前向传播,还包含反向传播和参数更新。

GPU 可以并行处理其中大量矩阵和张量运算。

1. 前向传播

以前面的全连接层为例:

Y=XW+b

GPU 可以并行执行矩阵乘法和偏置加法。

2. 损失计算

假设使用均方误差:

L=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat y_i)^2

不同样本的误差可以并行计算,再通过归约操作得到最终损失。

3. 反向传播

反向传播的核心是链式法则。

以线性层为例:

Y=XW+b

假设损失对输出的梯度为:

G=\frac{\partial L}{\partial Y}

则:

\frac{\partial L}{\partial W}=X^TG
\frac{\partial L}{\partial X}=GW^T
\frac{\partial L}{\partial b}=\sum_{i=1}^{B}G_i

这些梯度计算同样包含大量矩阵乘法和归约操作,非常适合 GPU 加速。

4. 参数更新

以 SGD 为例:

W_{t+1}=W_t-\eta \frac{\partial L}{\partial W_t}

其中:

  • W_t:当前模型参数。
  • \eta:学习率。
  • \frac{\partial L}{\partial W_t}:当前梯度。

参数更新通常也由 GPU 上的张量运算完成。

5. 完整训练流程

flowchart TB
    A["训练数据"] --> B["数据加载到 GPU"]
    B --> C["前向传播"]
    C --> D["计算损失"]
    D --> E["反向传播"]
    E --> F["计算参数梯度"]
    F --> G["优化器更新参数"]
    G --> H{"是否完成训练"}

    H -->|"否"| C
    H -->|"是"| I["得到训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

GPU 加速的重点并不只是前向传播,而是整个训练过程中的大规模张量计算。

七、CUDA:GPU 通用计算的关键技术

CUDA(Compute Unified Device Architecture)是 NVIDIA 推出的并行计算平台和编程模型。

它让开发者能够使用 NVIDIA GPU 执行通用计算任务,而不再局限于图形渲染。

1. CUDA 的作用

CUDA 提供了:

  • GPU 编程模型。
  • GPU 线程组织与调度机制。
  • GPU 内存管理。
  • Kernel 编写与执行。
  • GPU 数学计算库。
  • 与 CPU 协同执行的运行时接口。

深度学习框架可以通过 CUDA 调用 GPU 完成计算。

2. CUDA Kernel

Kernel 是运行在 GPU 上的函数。

例如,一个简单的向量加法 Kernel:

__global__ void vector_add(
    const float* A,
    const float* B,
    float* C,
    int N
) {
    int i = blockIdx.x * blockDim.x + threadIdx.x;

    if (i < N) {
        C[i] = A[i] + B[i];
    }
}

其中: