一、前言
前向传播(Forward Propagation)是神经网络最基础的计算过程,也是模型完成预测的核心机制。
无论是简单的多层感知机(MLP),还是卷积神经网络(CNN)、循环神经网络(RNN)和 Transformer,其核心计算都可以抽象为:数据从输入层进入网络,依次经过各层的线性变换与非线性激活,最终得到模型输出。
前向传播主要解决一个问题:
给定输入数据和当前模型参数,如何计算模型的预测结果?
理解前向传播,需要掌握以下几个核心内容:
- 神经网络的层级结构与数据流动。
- 线性变换与激活函数的计算过程。
- 权重、偏置和张量维度的变化。
- 单样本与批量数据的前向计算。
- 输出层与不同任务之间的关系。
- 前向传播与损失计算、反向传播之间的联系。
本文从数学表达、矩阵运算和实际计算三个层面,深入理解神经网络的前向传播机制。
二、什么是前向传播?
前向传播是指输入数据按照神经网络的结构,从输入层开始,依次经过隐藏层,最终到达输出层的计算过程。
假设一个神经网络包含:
- 输入层:接收原始特征。
- 隐藏层:提取和转换特征表示。
- 输出层:生成最终预测结果。
其基本流程如下:
flowchart TB
A["输入数据 X"]
B["第一层线性变换"]
C["第一层激活函数"]
D["第二层线性变换"]
E["第二层激活函数"]
F["输出层计算"]
G["模型预测结果"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
前向传播的本质是一个函数复合过程。
假设网络包含两层隐藏层和一个输出层,可以表示为:
其中:
| 符号 | 含义 |
|---|---|
| X | 输入数据 |
| W^{[l]} | 第 l 层权重矩阵 |
| b^{[l]} | 第 l 层偏置向量 |
| Z^{[l]} | 第 l 层线性变换结果 |
| A^{[l]} | 第 l 层激活值 |
| f_l | 隐藏层激活函数 |
| g | 输出层激活函数 |
| \hat{Y} | 模型预测结果 |
这里采用批量数据按行组织的矩阵约定,即每一行代表一个样本。
需要注意: 前向传播并不是简单地将输入数据传递给下一层,而是每一层都对输入进行一次参数化变换。随着网络层数增加,数据表示也会逐步发生变化。
三、前向传播的核心计算:线性变换
神经网络中的每一层,通常首先执行线性变换。
对于一个全连接层,其计算公式为:
其中:
- X:当前层输入。
- W:当前层权重矩阵。
- b:当前层偏置向量。
- Z:线性变换后的结果。
严格来说,包含偏置项的表达式属于仿射变换,而不是纯粹的线性变换。工程实践中通常将其统称为线性层计算。
3.1 单个神经元的计算
假设一个神经元接收三个输入特征:
对应的权重为:
偏置为 b。
那么该神经元的计算结果为:
再经过激活函数:
其中,a 就是该神经元输出的激活值。
3.2 多个神经元的矩阵计算
实际神经网络中,一层通常包含多个神经元。
假设:
- 输入特征数量为 3。
- 当前层神经元数量为 4。
则权重矩阵的维度为:
偏置向量的维度为:
输入矩阵为:
其中 m 表示批量样本数量。
经过线性变换:
得到:
这里的偏置向量会沿批量维度进行广播,使每个样本对应的神经元都加上相同的偏置参数。
3.3 为什么使用矩阵计算?
如果逐个神经元、逐个样本计算,计算过程会非常繁琐。
矩阵运算可以将大量乘法和加法统一组织起来,充分利用 CPU 和 GPU 的并行计算能力。
例如:
一次矩阵乘法就可以完成一个批次中所有样本、所有神经元的线性计算。
这也是深度学习框架大量使用张量运算的原因之一。
四、激活函数:引入非线性表达能力
线性变换完成后,神经网络通常会使用激活函数。
计算过程为:
其中 f 是激活函数。
4.1 为什么需要激活函数?
这是理解神经网络的一个关键问题。
假设一个网络包含多层线性变换:
代入可得:
由于矩阵乘法仍然是线性变换,多层线性变换最终仍然可以合并为一次线性变换。
即使网络增加到几十层,如果中间没有引入非线性激活函数,其整体表达能力仍然受限于线性变换。
加入激活函数后:
由于激活函数通常具有非线性,整个网络不再能够简单地合并为单个线性变换。
这使神经网络能够学习复杂的非线性映射关系。
4.2 常见激活函数
ReLU
特点:
- 计算简单。
- 正数区域梯度为 1。
- 负数区域输出为 0。
- 可能出现神经元长期输出为 0 的死亡 ReLU 问题。
Sigmoid
特点:
- 输出范围为 (0,1)。
- 常用于二分类模型的输出层。
- 输入绝对值较大时容易出现梯度饱和。
Tanh
特点:
- 输出范围为 (-1,1)。
- 输出以 0 为中心。
- 在输入绝对值较大时同样可能出现梯度饱和。
GELU
其中 \Phi(x) 为标准正态分布的累积分布函数。
GELU 是一种平滑的非线性激活函数,广泛应用于 Transformer 等网络架构。
4.3 隐藏层与输出层的激活函数不同
隐藏层激活函数主要负责增强网络的非线性表达能力。
输出层激活函数则需要根据具体任务选择。
| 任务 | 常见输出方式 | 输出含义 |
|---|---|---|
| 回归 | 线性输出 | 连续数值 |
| 二分类 | Sigmoid | 正类概率 |
| 多分类 | Softmax | 各类别概率 |
| 多标签分类 | 多个独立 Sigmoid | 各标签独立概率 |
需要特别注意:
- Softmax 通常用于类别互斥的多分类任务。
- 多标签分类中,各标签可以同时成立,通常使用独立的 Sigmoid。
- 回归任务不一定需要激活函数,是否使用取决于预测目标的取值范围和约束。
五、通过一个完整示例理解前向传播
下面使用一个简单的全连接神经网络,逐步计算前向传播过程。
假设网络结构如下:
- 输入层:2 个特征。
- 隐藏层:2 个神经元。
- 输出层:1 个神经元。
- 隐藏层激活函数:ReLU。
- 输出层:线性输出。
网络结构:
flowchart TB
A["输入层<br/>x1、x2"]
B["隐藏层<br/>神经元 h1、h2"]
C["输出层<br/>神经元 y"]
D["预测结果"]
A --> B
B --> C
C --> D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5.1 输入数据
假设输入为:
对应两个特征:
5.2 隐藏层线性计算
假设隐藏层权重矩阵为:
偏置向量为:
计算:
代入:
得到:
也就是:
5.3 隐藏层激活计算
使用 ReLU:
由于两个数都大于 0:
此时,隐藏层已经完成了输入特征的第一次转换。
5.4 输出层线性计算
假设输出层权重为:
偏置为:
计算:
代入:
得到:
由于这是一个回归任务,输出层采用线性输出:
5.5 完整计算过程
整个前向传播过程可以归纳为:
这个示例展示了神经网络最基本的计算机制:
输入数据经过权重和偏置变换,再通过激活函数处理,最终得到预测结果。
六、批量前向传播:从单样本到矩阵计算
实际训练神经网络时,通常不会每次只处理一个样本,而是采用批量训练(Mini-batch Training)。
假设:
- 批量大小为 32。
- 输入特征数量为 10。
- 隐藏层神经元数量为 64。
- 输出维度为 3。
则输入张量的形状为:
第一层权重:
第一层偏置:
计算:
得到:
经过激活函数:
输出形状仍然为:
如果输出层有 3 个神经元,则:
最终得到:
6.1 张量维度为什么重要?
神经网络中的绝大多数计算都依赖张量维度匹配。
对于全连接层:
其中:
- m:批量样本数量。
- n:输入特征数量。
- h:当前层神经元数量。
如果权重矩阵的输入维度与上一层输出维度不匹配,就无法完成矩阵乘法。
因此,在调试神经网络时,张量形状(Shape)是最重要的检查信息之一。
6.2 不同层之间的维度关系
对于一个包含多个全连接层的网络:
其中:
- n_0:输入特征数量。
- n_1:第一隐藏层神经元数量。
- n_2:第二隐藏层神经元数量。
- n_3:输出维度。
对应的权重矩阵维度为:
相邻层的输入和输出维度必须保持一致。
七、前向传播与损失函数
前向传播得到的是模型预测结果,而不是模型训练效果。
要判断预测结果是否符合预期,还需要将预测值与真实标签进行比较。
这一过程由损失函数完成。
假设:
- 真实标签为 Y。
- 模型预测结果为 \hat{Y}。
损失函数可以表示为:
它用于衡量模型预测结果与真实目标之间的差异。
7.1 回归任务:均方误差
对于回归问题,常用均方误差(MSE):
其中:
- y_i:真实值。
- \hat{y}_i:预测值。
- m:样本数量。
预测误差越大,损失通常越大。
7.2 分类任务:交叉熵损失
对于分类任务,常用交叉熵损失。
二分类交叉熵:
多分类交叉熵:
其中:
- C:类别数量。
- y_{ik}:真实标签的独热编码分量。
- \hat{y}_{ik}:模型预测的类别概率。
实际工程中,分类模型通常会使用数值稳定的 Logits 版本交叉熵损失,避免显式 Softmax 和 Log 运算带来的数值问题。
7.3 前向传播与损失计算的关系
需要区分两个概念: