一、什么是 FFN?
FFN(Feed-Forward Network,前馈神经网络)是一种信息沿单一方向传播的神经网络结构。
在 Transformer 中,FFN 通常指位置前馈网络(Position-wise Feed-Forward Network),它独立地作用于序列中的每一个 Token 表示,对其进行非线性特征变换。
Transformer 中的 FFN 通常由两层线性变换和一个非线性激活函数组成:
其中:
- x:输入特征向量。
- W_1:第一层线性变换的权重矩阵。
- b_1:第一层偏置。
- \sigma:非线性激活函数。
- W_2:第二层线性变换的权重矩阵。
- b_2:第二层偏置。
FFN 的核心作用是:将输入特征映射到更高维的隐藏空间,通过非线性变换提取和组合特征,再映射回原始模型维度。
需要区分两个概念:
- 前馈神经网络(Feed-Forward Neural Network):广义的网络结构,信息从输入层向输出层单向传播。
- Transformer FFN:Transformer 模块内部使用的特定位置前馈网络,通常采用两层线性层与非线性激活函数。
二、FFN 在 Transformer 中的位置
Transformer 并不是只依赖 Attention 完成全部计算。
Attention 主要负责不同 Token 之间的信息交互,而 FFN 主要负责对每个 Token 的特征进行独立变换。
在典型的 Transformer Encoder Layer 中,FFN 位于 Self-Attention 子层之后。
整体结构可以表示为:
flowchart TB
A["输入序列表示"] --> B["Multi-Head Self-Attention"]
B --> C["残差连接与 LayerNorm"]
C --> D["FFN 前馈网络"]
D --> E["残差连接与 LayerNorm"]
E --> F["输出序列表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
这里展示的是 Post-LN 形式的结构顺序。实际模型也可能使用 Pre-LN,将 LayerNorm 放在子层计算之前。
FFN 与 Attention 的分工:
| 组件 | 主要作用 | 信息交互范围 |
|---|---|---|
| Self-Attention | 建立不同 Token 之间的信息关联 | 不同 Token 之间 |
| FFN | 对特征进行非线性变换与组合 | 单个 Token 内部 |
| LayerNorm | 规范化特征分布 | 单个 Token 的特征维度 |
| Residual Connection | 保留输入信息,改善优化过程 | 子层输入与输出之间 |
Attention 和 FFN 并不是相互替代的关系,而是承担不同的计算职责。
三、FFN 的基本结构
以一个典型的 Transformer FFN 为例:
- 模型维度:d_{model}=768
- FFN 隐藏维度:d_{ff}=3072
- 第一层:768 维映射到 3072 维。
- 激活函数:GELU。
- 第二层:3072 维映射回 768 维。
结构如下:
flowchart TB
A["输入特征 x<br/>768 维"] --> B["Linear 线性变换<br/>768 → 3072"]
B --> C["GELU 激活函数"]
C --> D["隐藏特征 h<br/>3072 维"]
D --> E["Linear 线性变换<br/>3072 → 768"]
E --> F["输出特征 y<br/>768 维"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
3.1 第一层线性变换:升维
第一层将输入特征从模型维度映射到更大的隐藏维度:
假设:
那么:
最终:
这一步的主要作用是扩大特征表示空间,使网络能够在更高维空间中组合和变换输入特征。
升维并不意味着简单增加信息量,而是为模型提供更大的可学习表示空间。
3.2 非线性激活:引入表达能力
完成第一层线性变换后,需要通过激活函数引入非线性:
常见激活函数包括:
- ReLU
- GELU
- SiLU / Swish
- SwiGLU 中使用的 SiLU 门控分支
为什么需要激活函数?
如果两层线性变换之间没有非线性激活,那么:
可以合并为一个线性变换:
即使增加更多线性层,只要中间没有非线性操作,整体仍然等价于单个线性变换。
因此,非线性激活函数是 FFN 获得复杂特征表达能力的关键。
3.3 第二层线性变换:降维
第二层将隐藏特征映射回模型维度:
其中:
最终:
降维的目的主要是保持 Transformer 模块内部的维度一致,使 FFN 输出能够与输入通过残差连接相加。
注意:降维不是简单的信息压缩。第二层会根据训练得到的参数,对隐藏空间中的特征进行重新组合,生成适合后续网络处理的表示。
四、FFN 的数学计算过程
将上述过程合并,可以得到标准 FFN 公式:
这里采用行向量表示法。
如果采用列向量表示法,则写成:
两种写法只是矩阵乘法约定不同,表达的是同一个计算过程。
4.1 单个 Token 的计算
假设某个 Token 的输入向量为:
第一层线性变换:
得到:
经过 GELU:
第二层线性变换:
得到:
整个过程可以理解为:
- 输入特征进入高维隐藏空间。
- 神经网络学习不同特征之间的组合关系。
- 激活函数引入非线性。
- 第二层重新组合隐藏特征。
- 输出新的 Token 表示。
4.2 批量 Token 的计算
实际 Transformer 处理的不是单个 Token,而是一个序列中的多个 Token。
假设输入张量:
其中:
- B:Batch Size。
- N:序列长度。
- d_{model}:模型隐藏维度。
例如:
FFN 对每个 Token 分别执行相同的计算:
其中:
输出:
可以看到,输入和输出的张量形状完全一致。
但这并不代表 FFN 没有改变特征。它改变的是每个 Token 向量内部的特征表示,而不是 Token 数量或模型维度。
五、为什么 FFN 要逐位置计算?
Transformer FFN 的一个重要特点是 Position-wise,即逐位置计算。
对于序列:
FFN 的计算方式是:
所有 Token 使用同一组 FFN 参数,但各自独立完成前向计算。
5.1 参数共享
假设序列包含 128 个 Token。
FFN 不会为每个 Token 单独创建一套权重矩阵,而是所有位置共享:
这样可以控制模型参数量,同时保证不同位置的特征变换遵循相同的规则。
5.2 位置之间没有直接的信息交互
在 FFN 内部:
计算 y_i 时,不会直接读取其他位置的 x_j。
因此:
这里的区别非常重要:
- Attention:不同位置之间可以交换信息。
- FFN:每个位置独立执行特征变换。
但是,不能据此认为 FFN 完全不知道上下文。
因为 FFN 的输入 x_i 通常已经经过 Attention 处理,包含来自其他 Token 的上下文信息。
也就是说,FFN 虽然不直接进行跨位置交互,但它处理的特征已经可能融合了整个上下文中的信息。
5.3 逐位置计算的工程优势
逐位置 FFN 具有几个明显优势:
- 参数共享:不同 Token 不需要独立的 FFN 参数。
- 并行计算:不同位置的计算可以同时执行。
- 批量矩阵乘法:可以将多个 Token 的计算组织为高效矩阵运算。
- 结构简单:容易进行 GPU 优化和算子融合。
六、为什么 FFN 通常采用 4 倍升维?
经典 Transformer 中经常采用:
例如:
| 模型维度 d_{model} | FFN 隐藏维度 d_{ff} |
|---|---|
| 256 | 1024 |
| 512 | 2048 |
| 768 | 3072 |
| 1024 | 4096 |
| 2048 | 8192 |
这个 4 倍比例来自经典 Transformer 架构设计,是一种常见配置,并不是理论上必须满足的约束。
6.1 为什么需要更大的隐藏维度?
模型维度承载着 Token 的上下文表示,而 FFN 隐藏维度提供更大的中间特征空间。
从计算角度看:
更大的隐藏维度意味着:
- 更多可学习的中间特征组合。
- 更大的非线性变换空间。
- 更高的 FFN 参数容量。
- 更大的矩阵乘法计算量。
但隐藏维度并不是越大越好。
隐藏维度增加会带来更多参数、计算量和显存需求,也可能增加训练成本。
实际模型通常需要在模型容量、计算预算和推理延迟之间权衡。
6.2 FFN 为什么拥有大量参数?
忽略偏置项,标准两层 FFN 的参数量为:
第一层:
第二层:
总参数量:
当:
则:
如果:
则:
约 472 万个权重参数。
加上两层偏置:
FFN 总参数量约为 472.2 万。
这也解释了为什么在许多 Transformer 模型中,FFN 是参数量的重要组成部分。
七、FFN 与 Attention 的本质区别
Attention 和 FFN 是 Transformer 中两个最重要的计算模块之一。
它们解决的是不同的问题。
7.1 Attention:不同 Token 之间的信息交互
Self-Attention 根据 Query、Key 计算注意力权重,再对 Value 进行加权聚合:
其主要作用是让一个 Token 根据上下文选择性地聚合其他 Token 的信息。
例如:
句子:
小明把苹果放进冰箱,因为它已经成熟了。
模型需要根据上下文理解“它”指向哪个对象。
Attention 可以通过不同 Token 之间的关联权重,帮助模型整合上下文信息。
7.2 FFN:单个 Token 内部的特征变换
FFN 不负责直接计算 Token 之间的注意力关系。
它接收 Attention 输出的特征,对每个位置进行非线性映射:
主要作用是:
- 组合不同维度的特征。
- 提取更复杂的非线性模式。
- 增强 Token 表示能力。
- 将上下文信息转化为新的特征表达。
7.3 两者如何协同工作?
flowchart TB
A["输入 Token 表示"] --> B["Self-Attention"]
B --> C["跨 Token 信息交互"]
C --> D["上下文增强的特征表示"]
D --> E["FFN"]
E --> F["逐 Token 非线性特征变换"]
F --> G["更新后的 Token 表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
可以用一句话概括:
Attention 负责在 Token 之间传递和聚合信息,FFN 负责对聚合后的特征进行非线性加工。
两者共同构成 Transformer 的核心计算机制。
八、FFN 中常见的激活函数
激活函数决定了 FFN 如何引入非线性,不同激活函数会影响模型的梯度传播、计算效率和表达能力。
8.1 ReLU
ReLU(Rectified Linear Unit)定义为:
特点:
- 计算简单。
- 正数区域梯度为 1。
- 负数区域输出为 0。
- 可能出现神经元长期处于负数区域、梯度为零的情况,即死亡 ReLU。
ReLU 在早期神经网络和部分 Transformer 变体中得到广泛应用。
8.2 GELU
GELU(Gaussian Error Linear Unit)定义为:
其中:
\Phi(x) 是标准正态分布的累积分布函数。
GELU 可以理解为一种平滑的门控式激活:输入值不会像 ReLU 那样在零点发生硬截断,而是根据输入大小进行平滑调节。
常见近似公式:
特点:
- 函数平滑。
- 负数区域仍然保留一定输出。
- 梯度变化连续。
- 在 BERT、GPT 等模型的部分经典实现中使用。
8.3 SiLU / Swish
SiLU 又称 Swish:
其中:
特点:
- 平滑、连续。
- 允许部分负值通过。
- 具有门控式调节特性。
- 常用于现代神经网络结构。
8.4 激活函数对比
| 激活函数 | 数学表达式 | 主要特点 |
|---|---|---|
| ReLU | \max(0,x) | 简单高效,负半轴输出为零 |
| GELU | x\Phi(x) | 平滑非线性,Transformer 经典选择 |
| SiLU | x\sigma(x) | 平滑门控,现代架构常用 |
| SwiGLU | Swish(xW)\odot xV | 引入门控分支,增强特征选择能力 |
需要注意,激活函数的选择与模型架构、训练配置和硬件实现有关,并不存在适用于所有模型的绝对最优选择。
九、现代 Transformer 中的 FFN 变体
经典 FFN 使用两层线性变换和一个激活函数。
随着大语言模型的发展,研究者开始使用门控结构增强 FFN 的表达能力。
其中具有代表性的是 GLU、GEGLU 和 SwiGLU。
9.1 GLU:门控线性单元
GLU(Gated Linear Unit)通过两个线性投影生成不同的特征分支:
其中:
- 一条分支提供特征内容。
- 另一条分支生成门控信号。
- \odot 表示逐元素相乘。
门控信号可以调节另一条分支中不同特征的通过程度。
与普通 FFN 相比,GLU 不只是对输入进行固定形式的非线性变换,还增加了可学习的特征调节机制。
9.2 GEGLU
GEGLU(GELU-Gated Linear Unit)将 GLU 中的门控激活函数替换为 GELU: