返回专栏
· 9 分钟阅读

神经网络的前向传播:从输入数据到模型输出的完整计算过程


一、前言

前向传播(Forward Propagation)是神经网络最基础的计算过程,也是模型完成预测的核心机制。

无论是简单的多层感知机(MLP),还是卷积神经网络(CNN)、循环神经网络(RNN)和 Transformer,其核心计算都可以抽象为:数据从输入层进入网络,依次经过各层的线性变换与非线性激活,最终得到模型输出。

前向传播主要解决一个问题:

给定输入数据和当前模型参数,如何计算模型的预测结果?

理解前向传播,需要掌握以下几个核心内容:

  • 神经网络的层级结构与数据流动。
  • 线性变换与激活函数的计算过程。
  • 权重、偏置和张量维度的变化。
  • 单样本与批量数据的前向计算。
  • 输出层与不同任务之间的关系。
  • 前向传播与损失计算、反向传播之间的联系。

本文从数学表达、矩阵运算和实际计算三个层面,深入理解神经网络的前向传播机制。


二、什么是前向传播?

前向传播是指输入数据按照神经网络的结构,从输入层开始,依次经过隐藏层,最终到达输出层的计算过程。

假设一个神经网络包含:

  • 输入层:接收原始特征。
  • 隐藏层:提取和转换特征表示。
  • 输出层:生成最终预测结果。

其基本流程如下:

flowchart TB
    A["输入数据 X"]
    B["第一层线性变换"]
    C["第一层激活函数"]
    D["第二层线性变换"]
    E["第二层激活函数"]
    F["输出层计算"]
    G["模型预测结果"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

前向传播的本质是一个函数复合过程。

假设网络包含两层隐藏层和一个输出层,可以表示为:

\begin{aligned} Z^{[1]} &= XW^{[1]}+b^{[1]}\\ A^{[1]} &= f_1(Z^{[1]})\\ Z^{[2]} &= A^{[1]}W^{[2]}+b^{[2]}\\ A^{[2]} &= f_2(Z^{[2]})\\ Z^{[3]} &= A^{[2]}W^{[3]}+b^{[3]}\\ \hat{Y} &= g(Z^{[3]}) \end{aligned}

其中:

符号 含义
X 输入数据
W^{[l]} 第 l 层权重矩阵
b^{[l]} 第 l 层偏置向量
Z^{[l]} 第 l 层线性变换结果
A^{[l]} 第 l 层激活值
f_l 隐藏层激活函数
g 输出层激活函数
\hat{Y} 模型预测结果

这里采用批量数据按行组织的矩阵约定,即每一行代表一个样本。

需要注意: 前向传播并不是简单地将输入数据传递给下一层,而是每一层都对输入进行一次参数化变换。随着网络层数增加,数据表示也会逐步发生变化。


三、前向传播的核心计算:线性变换

神经网络中的每一层,通常首先执行线性变换。

对于一个全连接层,其计算公式为:

Z=XW+b

其中:

  • X:当前层输入。
  • W:当前层权重矩阵。
  • b:当前层偏置向量。
  • Z:线性变换后的结果。

严格来说,包含偏置项的表达式属于仿射变换,而不是纯粹的线性变换。工程实践中通常将其统称为线性层计算。

3.1 单个神经元的计算

假设一个神经元接收三个输入特征:

X=[x_1,x_2,x_3]

对应的权重为:

W= \begin{bmatrix} w_1\\ w_2\\ w_3 \end{bmatrix}

偏置为 b。

那么该神经元的计算结果为:

z=x_1w_1+x_2w_2+x_3w_3+b

再经过激活函数:

a=f(z)

其中,a 就是该神经元输出的激活值。

3.2 多个神经元的矩阵计算

实际神经网络中,一层通常包含多个神经元。

假设:

  • 输入特征数量为 3。
  • 当前层神经元数量为 4。

则权重矩阵的维度为:

W\in\mathbb{R}^{3\times4}

偏置向量的维度为:

b\in\mathbb{R}^{1\times4}

输入矩阵为:

X\in\mathbb{R}^{m\times3}

其中 m 表示批量样本数量。

经过线性变换:

Z=XW+b

得到:

Z\in\mathbb{R}^{m\times4}

这里的偏置向量会沿批量维度进行广播,使每个样本对应的神经元都加上相同的偏置参数。

3.3 为什么使用矩阵计算?

如果逐个神经元、逐个样本计算,计算过程会非常繁琐。

矩阵运算可以将大量乘法和加法统一组织起来,充分利用 CPU 和 GPU 的并行计算能力。

例如:

Z=XW+b

一次矩阵乘法就可以完成一个批次中所有样本、所有神经元的线性计算。

这也是深度学习框架大量使用张量运算的原因之一。


四、激活函数:引入非线性表达能力

线性变换完成后,神经网络通常会使用激活函数。

计算过程为:

A=f(Z)

其中 f 是激活函数。

4.1 为什么需要激活函数?

这是理解神经网络的一个关键问题。

假设一个网络包含多层线性变换:

H_1=XW_1
H_2=H_1W_2

代入可得:

H_2=XW_1W_2

由于矩阵乘法仍然是线性变换,多层线性变换最终仍然可以合并为一次线性变换。

即使网络增加到几十层,如果中间没有引入非线性激活函数,其整体表达能力仍然受限于线性变换。

加入激活函数后:

H_1=f(XW_1+b_1)
H_2=f(H_1W_2+b_2)

由于激活函数通常具有非线性,整个网络不再能够简单地合并为单个线性变换。

这使神经网络能够学习复杂的非线性映射关系。

4.2 常见激活函数

ReLU

ReLU(x)=\max(0,x)

特点:

  • 计算简单。
  • 正数区域梯度为 1。
  • 负数区域输出为 0。
  • 可能出现神经元长期输出为 0 的死亡 ReLU 问题。

Sigmoid

\sigma(x)=\frac{1}{1+e^{-x}}

特点:

  • 输出范围为 (0,1)。
  • 常用于二分类模型的输出层。
  • 输入绝对值较大时容易出现梯度饱和。

Tanh

tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}

特点:

  • 输出范围为 (-1,1)。
  • 输出以 0 为中心。
  • 在输入绝对值较大时同样可能出现梯度饱和。

GELU

GELU(x)=x\Phi(x)

其中 \Phi(x) 为标准正态分布的累积分布函数。

GELU 是一种平滑的非线性激活函数,广泛应用于 Transformer 等网络架构。

4.3 隐藏层与输出层的激活函数不同

隐藏层激活函数主要负责增强网络的非线性表达能力。

输出层激活函数则需要根据具体任务选择。

任务 常见输出方式 输出含义
回归 线性输出 连续数值
二分类 Sigmoid 正类概率
多分类 Softmax 各类别概率
多标签分类 多个独立 Sigmoid 各标签独立概率

需要特别注意:

  • Softmax 通常用于类别互斥的多分类任务。
  • 多标签分类中,各标签可以同时成立,通常使用独立的 Sigmoid。
  • 回归任务不一定需要激活函数,是否使用取决于预测目标的取值范围和约束。

五、通过一个完整示例理解前向传播

下面使用一个简单的全连接神经网络,逐步计算前向传播过程。

假设网络结构如下:

  • 输入层:2 个特征。
  • 隐藏层:2 个神经元。
  • 输出层:1 个神经元。
  • 隐藏层激活函数:ReLU。
  • 输出层:线性输出。

网络结构:

flowchart TB
    A["输入层<br/>x1、x2"]
    B["隐藏层<br/>神经元 h1、h2"]
    C["输出层<br/>神经元 y"]
    D["预测结果"]

    A --> B
    B --> C
    C --> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F

5.1 输入数据

假设输入为:

X= \begin{bmatrix} 1 & 2 \end{bmatrix}

对应两个特征:

x_1=1,\quad x_2=2

5.2 隐藏层线性计算

假设隐藏层权重矩阵为:

W^{[1]}= \begin{bmatrix} 0.5 & 0.3\\ 0.2 & 0.4 \end{bmatrix}

偏置向量为:

b^{[1]}= \begin{bmatrix} 0.1 & 0.2 \end{bmatrix}

计算:

Z^{[1]}=XW^{[1]}+b^{[1]}

代入:

Z^{[1]}= \begin{bmatrix} 1 & 2 \end{bmatrix} \begin{bmatrix} 0.5 & 0.3\\ 0.2 & 0.4 \end{bmatrix} + \begin{bmatrix} 0.1 & 0.2 \end{bmatrix}

得到:

Z^{[1]}= \begin{bmatrix} 1.0 & 1.3 \end{bmatrix}

也就是:

z_1=1.0,\quad z_2=1.3

5.3 隐藏层激活计算

使用 ReLU:

A^{[1]}=ReLU(Z^{[1]})

由于两个数都大于 0:

A^{[1]}= \begin{bmatrix} 1.0 & 1.3 \end{bmatrix}

此时,隐藏层已经完成了输入特征的第一次转换。

5.4 输出层线性计算

假设输出层权重为:

W^{[2]}= \begin{bmatrix} 0.6\\ 0.8 \end{bmatrix}

偏置为:

b^{[2]}=0.1

计算:

Z^{[2]}=A^{[1]}W^{[2]}+b^{[2]}

代入:

Z^{[2]}= \begin{bmatrix} 1.0 & 1.3 \end{bmatrix} \begin{bmatrix} 0.6\\ 0.8 \end{bmatrix} +0.1

得到:

Z^{[2]}=1.74

由于这是一个回归任务,输出层采用线性输出:

\hat{Y}=1.74

5.5 完整计算过程

整个前向传播过程可以归纳为:

\begin{aligned} X &= \begin{bmatrix}1&2\end{bmatrix}\\ Z^{[1]} &= XW^{[1]}+b^{[1]}\\ A^{[1]} &= ReLU(Z^{[1]})\\ Z^{[2]} &= A^{[1]}W^{[2]}+b^{[2]}\\ \hat{Y} &= Z^{[2]}=1.74 \end{aligned}

这个示例展示了神经网络最基本的计算机制:

输入数据经过权重和偏置变换,再通过激活函数处理,最终得到预测结果。


六、批量前向传播:从单样本到矩阵计算

实际训练神经网络时,通常不会每次只处理一个样本,而是采用批量训练(Mini-batch Training)。

假设:

  • 批量大小为 32。
  • 输入特征数量为 10。
  • 隐藏层神经元数量为 64。
  • 输出维度为 3。

则输入张量的形状为:

X\in\mathbb{R}^{32\times10}

第一层权重:

W^{[1]}\in\mathbb{R}^{10\times64}

第一层偏置:

b^{[1]}\in\mathbb{R}^{64}

计算:

Z^{[1]}=XW^{[1]}+b^{[1]}

得到:

Z^{[1]}\in\mathbb{R}^{32\times64}

经过激活函数:

A^{[1]}=f(Z^{[1]})

输出形状仍然为:

A^{[1]}\in\mathbb{R}^{32\times64}

如果输出层有 3 个神经元,则:

W^{[2]}\in\mathbb{R}^{64\times3}
b^{[2]}\in\mathbb{R}^{3}

最终得到:

\hat{Y}\in\mathbb{R}^{32\times3}

6.1 张量维度为什么重要?

神经网络中的绝大多数计算都依赖张量维度匹配。

对于全连接层:

X_{m\times n}\cdot W_{n\times h} = Z_{m\times h}

其中:

  • m:批量样本数量。
  • n:输入特征数量。
  • h:当前层神经元数量。

如果权重矩阵的输入维度与上一层输出维度不匹配,就无法完成矩阵乘法。

因此,在调试神经网络时,张量形状(Shape)是最重要的检查信息之一。

6.2 不同层之间的维度关系

对于一个包含多个全连接层的网络:

n_0\rightarrow n_1\rightarrow n_2\rightarrow n_3

其中:

  • n_0:输入特征数量。
  • n_1:第一隐藏层神经元数量。
  • n_2:第二隐藏层神经元数量。
  • n_3:输出维度。

对应的权重矩阵维度为:

W^{[1]}\in\mathbb{R}^{n_0\times n_1}
W^{[2]}\in\mathbb{R}^{n_1\times n_2}
W^{[3]}\in\mathbb{R}^{n_2\times n_3}

相邻层的输入和输出维度必须保持一致。


七、前向传播与损失函数

前向传播得到的是模型预测结果,而不是模型训练效果。

要判断预测结果是否符合预期,还需要将预测值与真实标签进行比较。

这一过程由损失函数完成。

假设:

  • 真实标签为 Y。
  • 模型预测结果为 \hat{Y}。

损失函数可以表示为:

L=L(Y,\hat{Y})

它用于衡量模型预测结果与真实目标之间的差异。

7.1 回归任务:均方误差

对于回归问题,常用均方误差(MSE):

MSE=\frac{1}{m}\sum_{i=1}^{m}(y_i-\hat{y}_i)^2

其中:

  • y_i:真实值。
  • \hat{y}_i:预测值。
  • m:样本数量。

预测误差越大,损失通常越大。

7.2 分类任务:交叉熵损失

对于分类任务,常用交叉熵损失。

二分类交叉熵:

L=-\frac{1}{m}\sum_{i=1}^{m} [y_i\log(\hat{y}_i)+(1-y_i)\log(1-\hat{y}_i)]

多分类交叉熵:

L=-\frac{1}{m}\sum_{i=1}^{m} \sum_{k=1}^{C}y_{ik}\log(\hat{y}_{ik})

其中:

  • C:类别数量。
  • y_{ik}:真实标签的独热编码分量。
  • \hat{y}_{ik}:模型预测的类别概率。

实际工程中,分类模型通常会使用数值稳定的 Logits 版本交叉熵损失,避免显式 Softmax 和 Log 运算带来的数值问题。

7.3 前向传播与损失计算的关系

需要区分两个概念: