返回专栏
· 12 分钟阅读

FFN 前馈神经网络:Transformer 中逐位置特征变换的核心机制


一、什么是 FFN?

FFN(Feed-Forward Network,前馈神经网络)是一种信息沿单一方向传播的神经网络结构。

在 Transformer 中,FFN 通常指位置前馈网络(Position-wise Feed-Forward Network),它独立地作用于序列中的每一个 Token 表示,对其进行非线性特征变换。

Transformer 中的 FFN 通常由两层线性变换和一个非线性激活函数组成:

FFN(x)=W_2\sigma(W_1x+b_1)+b_2

其中:

  • x:输入特征向量。
  • W_1:第一层线性变换的权重矩阵。
  • b_1:第一层偏置。
  • \sigma:非线性激活函数。
  • W_2:第二层线性变换的权重矩阵。
  • b_2:第二层偏置。

FFN 的核心作用是:将输入特征映射到更高维的隐藏空间,通过非线性变换提取和组合特征,再映射回原始模型维度。

需要区分两个概念:

  • 前馈神经网络(Feed-Forward Neural Network):广义的网络结构,信息从输入层向输出层单向传播。
  • Transformer FFN:Transformer 模块内部使用的特定位置前馈网络,通常采用两层线性层与非线性激活函数。

二、FFN 在 Transformer 中的位置

Transformer 并不是只依赖 Attention 完成全部计算。

Attention 主要负责不同 Token 之间的信息交互,而 FFN 主要负责对每个 Token 的特征进行独立变换。

在典型的 Transformer Encoder Layer 中,FFN 位于 Self-Attention 子层之后。

整体结构可以表示为:

flowchart TB
    A["输入序列表示"] --> B["Multi-Head Self-Attention"]
    B --> C["残差连接与 LayerNorm"]
    C --> D["FFN 前馈网络"]
    D --> E["残差连接与 LayerNorm"]
    E --> F["输出序列表示"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

这里展示的是 Post-LN 形式的结构顺序。实际模型也可能使用 Pre-LN,将 LayerNorm 放在子层计算之前。

FFN 与 Attention 的分工:

组件 主要作用 信息交互范围
Self-Attention 建立不同 Token 之间的信息关联 不同 Token 之间
FFN 对特征进行非线性变换与组合 单个 Token 内部
LayerNorm 规范化特征分布 单个 Token 的特征维度
Residual Connection 保留输入信息,改善优化过程 子层输入与输出之间

Attention 和 FFN 并不是相互替代的关系,而是承担不同的计算职责。

三、FFN 的基本结构

以一个典型的 Transformer FFN 为例:

  • 模型维度:d_{model}=768
  • FFN 隐藏维度:d_{ff}=3072
  • 第一层:768 维映射到 3072 维。
  • 激活函数:GELU。
  • 第二层:3072 维映射回 768 维。

结构如下:

flowchart TB
    A["输入特征 x<br/>768 维"] --> B["Linear 线性变换<br/>768 → 3072"]
    B --> C["GELU 激活函数"]
    C --> D["隐藏特征 h<br/>3072 维"]
    D --> E["Linear 线性变换<br/>3072 → 768"]
    E --> F["输出特征 y<br/>768 维"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

3.1 第一层线性变换:升维

第一层将输入特征从模型维度映射到更大的隐藏维度:

h_1=W_1x+b_1

假设:

x\in\mathbb{R}^{768}

那么:

W_1\in\mathbb{R}^{3072\times768}

最终:

h_1\in\mathbb{R}^{3072}

这一步的主要作用是扩大特征表示空间,使网络能够在更高维空间中组合和变换输入特征。

升维并不意味着简单增加信息量,而是为模型提供更大的可学习表示空间。

3.2 非线性激活:引入表达能力

完成第一层线性变换后,需要通过激活函数引入非线性:

h=\sigma(h_1)

常见激活函数包括:

  • ReLU
  • GELU
  • SiLU / Swish
  • SwiGLU 中使用的 SiLU 门控分支

为什么需要激活函数?

如果两层线性变换之间没有非线性激活,那么:

W_2(W_1x+b_1)+b_2

可以合并为一个线性变换:

W'x+b'

即使增加更多线性层,只要中间没有非线性操作,整体仍然等价于单个线性变换。

因此,非线性激活函数是 FFN 获得复杂特征表达能力的关键。

3.3 第二层线性变换:降维

第二层将隐藏特征映射回模型维度:

y=W_2h+b_2

其中:

W_2\in\mathbb{R}^{768\times3072}

最终:

y\in\mathbb{R}^{768}

降维的目的主要是保持 Transformer 模块内部的维度一致,使 FFN 输出能够与输入通过残差连接相加。

注意:降维不是简单的信息压缩。第二层会根据训练得到的参数,对隐藏空间中的特征进行重新组合,生成适合后续网络处理的表示。

四、FFN 的数学计算过程

将上述过程合并,可以得到标准 FFN 公式:

FFN(x)=\sigma(xW_1+b_1)W_2+b_2

这里采用行向量表示法。

如果采用列向量表示法,则写成:

FFN(x)=W_2\sigma(W_1x+b_1)+b_2

两种写法只是矩阵乘法约定不同,表达的是同一个计算过程。

4.1 单个 Token 的计算

假设某个 Token 的输入向量为:

x= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_{768} \end{bmatrix}

第一层线性变换:

h_1=W_1x+b_1

得到:

h_1\in\mathbb{R}^{3072}

经过 GELU:

h=GELU(h_1)

第二层线性变换:

y=W_2h+b_2

得到:

y\in\mathbb{R}^{768}

整个过程可以理解为:

  1. 输入特征进入高维隐藏空间。
  2. 神经网络学习不同特征之间的组合关系。
  3. 激活函数引入非线性。
  4. 第二层重新组合隐藏特征。
  5. 输出新的 Token 表示。

4.2 批量 Token 的计算

实际 Transformer 处理的不是单个 Token,而是一个序列中的多个 Token。

假设输入张量:

X\in\mathbb{R}^{B\times N\times d_{model}}

其中:

  • B:Batch Size。
  • N:序列长度。
  • d_{model}:模型隐藏维度。

例如:

X\in\mathbb{R}^{32\times128\times768}

FFN 对每个 Token 分别执行相同的计算:

H=\sigma(XW_1+b_1)
Y=HW_2+b_2

其中:

W_1\in\mathbb{R}^{768\times3072}
W_2\in\mathbb{R}^{3072\times768}

输出:

Y\in\mathbb{R}^{32\times128\times768}

可以看到,输入和输出的张量形状完全一致。

但这并不代表 FFN 没有改变特征。它改变的是每个 Token 向量内部的特征表示,而不是 Token 数量或模型维度。

五、为什么 FFN 要逐位置计算?

Transformer FFN 的一个重要特点是 Position-wise,即逐位置计算。

对于序列:

X=[x_1,x_2,\ldots,x_N]

FFN 的计算方式是:

FFN(X)=[FFN(x_1),FFN(x_2),\ldots,FFN(x_N)]

所有 Token 使用同一组 FFN 参数,但各自独立完成前向计算。

5.1 参数共享

假设序列包含 128 个 Token。

FFN 不会为每个 Token 单独创建一套权重矩阵,而是所有位置共享:

W_1,\ b_1,\ W_2,\ b_2

这样可以控制模型参数量,同时保证不同位置的特征变换遵循相同的规则。

5.2 位置之间没有直接的信息交互

在 FFN 内部:

y_i=FFN(x_i)

计算 y_i 时,不会直接读取其他位置的 x_j。

因此:

y_i\neq FFN(x_i,x_j)

这里的区别非常重要:

  • Attention:不同位置之间可以交换信息。
  • FFN:每个位置独立执行特征变换。

但是,不能据此认为 FFN 完全不知道上下文。

因为 FFN 的输入 x_i 通常已经经过 Attention 处理,包含来自其他 Token 的上下文信息。

也就是说,FFN 虽然不直接进行跨位置交互,但它处理的特征已经可能融合了整个上下文中的信息。

5.3 逐位置计算的工程优势

逐位置 FFN 具有几个明显优势:

  • 参数共享:不同 Token 不需要独立的 FFN 参数。
  • 并行计算:不同位置的计算可以同时执行。
  • 批量矩阵乘法:可以将多个 Token 的计算组织为高效矩阵运算。
  • 结构简单:容易进行 GPU 优化和算子融合。

六、为什么 FFN 通常采用 4 倍升维?

经典 Transformer 中经常采用:

d_{ff}=4d_{model}

例如:

模型维度 d_{model} FFN 隐藏维度 d_{ff}
256 1024
512 2048
768 3072
1024 4096
2048 8192

这个 4 倍比例来自经典 Transformer 架构设计,是一种常见配置,并不是理论上必须满足的约束。

6.1 为什么需要更大的隐藏维度?

模型维度承载着 Token 的上下文表示,而 FFN 隐藏维度提供更大的中间特征空间。

从计算角度看:

d_{model}\rightarrow d_{ff}\rightarrow d_{model}

更大的隐藏维度意味着:

  • 更多可学习的中间特征组合。
  • 更大的非线性变换空间。
  • 更高的 FFN 参数容量。
  • 更大的矩阵乘法计算量。

但隐藏维度并不是越大越好。

隐藏维度增加会带来更多参数、计算量和显存需求,也可能增加训练成本。

实际模型通常需要在模型容量、计算预算和推理延迟之间权衡。

6.2 FFN 为什么拥有大量参数?

忽略偏置项,标准两层 FFN 的参数量为:

第一层:

P_1=d_{model}\times d_{ff}

第二层:

P_2=d_{ff}\times d_{model}

总参数量:

P_{FFN}=2d_{model}d_{ff}

当:

d_{ff}=4d_{model}

则:

P_{FFN}=8d_{model}^2

如果:

d_{model}=768,\quad d_{ff}=3072

则:

P_{FFN}=2\times768\times3072
P_{FFN}=4,718,592

约 472 万个权重参数。

加上两层偏置:

P_{bias}=3072+768=3840

FFN 总参数量约为 472.2 万。

这也解释了为什么在许多 Transformer 模型中,FFN 是参数量的重要组成部分。

七、FFN 与 Attention 的本质区别

Attention 和 FFN 是 Transformer 中两个最重要的计算模块之一。

它们解决的是不同的问题。

7.1 Attention:不同 Token 之间的信息交互

Self-Attention 根据 Query、Key 计算注意力权重,再对 Value 进行加权聚合:

Attention(Q,K,V)= Softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V

其主要作用是让一个 Token 根据上下文选择性地聚合其他 Token 的信息。

例如:

句子:

小明把苹果放进冰箱,因为它已经成熟了。

模型需要根据上下文理解“它”指向哪个对象。

Attention 可以通过不同 Token 之间的关联权重,帮助模型整合上下文信息。

7.2 FFN:单个 Token 内部的特征变换

FFN 不负责直接计算 Token 之间的注意力关系。

它接收 Attention 输出的特征,对每个位置进行非线性映射:

y_i=W_2\sigma(W_1x_i+b_1)+b_2

主要作用是:

  • 组合不同维度的特征。
  • 提取更复杂的非线性模式。
  • 增强 Token 表示能力。
  • 将上下文信息转化为新的特征表达。

7.3 两者如何协同工作?

flowchart TB
    A["输入 Token 表示"] --> B["Self-Attention"]
    B --> C["跨 Token 信息交互"]
    C --> D["上下文增强的特征表示"]
    D --> E["FFN"]
    E --> F["逐 Token 非线性特征变换"]
    F --> G["更新后的 Token 表示"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

可以用一句话概括:

Attention 负责在 Token 之间传递和聚合信息,FFN 负责对聚合后的特征进行非线性加工。

两者共同构成 Transformer 的核心计算机制。

八、FFN 中常见的激活函数

激活函数决定了 FFN 如何引入非线性,不同激活函数会影响模型的梯度传播、计算效率和表达能力。

8.1 ReLU

ReLU(Rectified Linear Unit)定义为:

ReLU(x)=\max(0,x)

特点:

  • 计算简单。
  • 正数区域梯度为 1。
  • 负数区域输出为 0。
  • 可能出现神经元长期处于负数区域、梯度为零的情况,即死亡 ReLU。

ReLU 在早期神经网络和部分 Transformer 变体中得到广泛应用。

8.2 GELU

GELU(Gaussian Error Linear Unit)定义为:

GELU(x)=x\Phi(x)

其中:

\Phi(x)=P(X\leq x),\quad X\sim\mathcal{N}(0,1)

\Phi(x) 是标准正态分布的累积分布函数。

GELU 可以理解为一种平滑的门控式激活:输入值不会像 ReLU 那样在零点发生硬截断,而是根据输入大小进行平滑调节。

常见近似公式:

GELU(x)\approx 0.5x\left[ 1+\tanh\left( \sqrt{\frac{2}{\pi}}(x+0.044715x^3) \right) \right]

特点:

  • 函数平滑。
  • 负数区域仍然保留一定输出。
  • 梯度变化连续。
  • 在 BERT、GPT 等模型的部分经典实现中使用。

8.3 SiLU / Swish

SiLU 又称 Swish:

SiLU(x)=x\cdot Sigmoid(x)

其中:

Sigmoid(x)=\frac{1}{1+e^{-x}}

特点:

  • 平滑、连续。
  • 允许部分负值通过。
  • 具有门控式调节特性。
  • 常用于现代神经网络结构。

8.4 激活函数对比

激活函数 数学表达式 主要特点
ReLU \max(0,x) 简单高效,负半轴输出为零
GELU x\Phi(x) 平滑非线性,Transformer 经典选择
SiLU x\sigma(x) 平滑门控,现代架构常用
SwiGLU Swish(xW)\odot xV 引入门控分支,增强特征选择能力

需要注意,激活函数的选择与模型架构、训练配置和硬件实现有关,并不存在适用于所有模型的绝对最优选择。

九、现代 Transformer 中的 FFN 变体

经典 FFN 使用两层线性变换和一个激活函数。

随着大语言模型的发展,研究者开始使用门控结构增强 FFN 的表达能力。

其中具有代表性的是 GLU、GEGLU 和 SwiGLU。

9.1 GLU:门控线性单元

GLU(Gated Linear Unit)通过两个线性投影生成不同的特征分支:

GLU(x)=(xW_a+b_a)\odot\sigma(xW_b+b_b)

其中:

  • 一条分支提供特征内容。
  • 另一条分支生成门控信号。
  • \odot 表示逐元素相乘。

门控信号可以调节另一条分支中不同特征的通过程度。

与普通 FFN 相比,GLU 不只是对输入进行固定形式的非线性变换,还增加了可学习的特征调节机制。

9.2 GEGLU

GEGLU(GELU-Gated Linear Unit)将 GLU 中的门控激活函数替换为 GELU:

GEGLU(x)=GELU(xW_a+b_a)\odot(xW_b+b_b)