一、Dense 与 MoE:两种不同的模型架构
Dense 模型和 MoE 模型是大语言模型中两种重要的网络架构设计。
它们最核心的区别在于:模型中的参数是否全部参与每一次前向计算。
1. Dense 模型是什么?
Dense,通常称为稠密模型。
在 Dense Transformer 中,每一层通常包含:
- Self-Attention:负责 Token 之间的信息交互。
- FFN:负责对每个 Token 的表示进行非线性变换。
- 残差连接与归一化:帮助模型稳定训练。
当 Token 经过一个 Dense Transformer Block 时,通常会经过完整的 Attention 和 FFN 计算。
假设模型有 70B 参数,那么在标准 Dense 架构下,绝大多数模型参数都会参与每个 Token 的前向计算。
这里的「全部参与」是指模型的稠密参数路径,并不意味着每个参数都对每个输入产生相同程度的影响。
2. MoE 模型是什么?
MoE(Mixture of Experts,混合专家模型)将部分 FFN 替换为多个独立的专家网络。
每个 Token 经过路由网络(Router)后,只选择其中一部分专家参与计算。
例如:
- 专家总数:8 个。
- 每个 Token 激活:2 个专家。
- 每个 Token 只经过 25% 的专家。
因此,MoE 可以拥有较大的总参数量,但每次只激活部分专家参数。
3. 两种架构的计算流程
Dense 模型:
flowchart TB
A["输入 Token"]
B["Embedding"]
C["Self-Attention"]
D["完整 FFN"]
E["输出隐藏状态"]
A --> B
B --> C
C --> D
D --> E
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E5F0E9,stroke:#83A995,color:#315D49
MoE 模型:
flowchart TB
A["输入 Token"]
B["Embedding"]
C["Self-Attention"]
D["Router"]
E["Expert 1"]
F["Expert 2"]
G["Expert 3"]
H["Expert N"]
I["专家输出聚合"]
J["输出隐藏状态"]
A --> B
B --> C
C --> D
D --> E
D --> F
D -.-> G
D -.-> H
E --> I
F --> I
I --> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E5F0E9,stroke:#83A995,color:#315D49
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
图中实线表示被选择的专家,虚线表示未被激活的专家。
需要注意,MoE 通常只替换 Transformer 的部分 FFN 层,并不是将整个 Transformer 变成一组互不相关的专家网络。
二、Dense 与 MoE 的核心区别
先从整体上比较两种架构。
| 对比维度 | Dense 模型 | MoE 模型 |
|---|---|---|
| 中文名称 | 稠密模型 | 混合专家模型 |
| 网络结构 | 单一密集计算路径 | 多专家稀疏计算路径 |
| FFN 结构 | 一个完整 FFN | 多个专家 FFN |
| 参数激活 | 通常全部激活 | 仅激活部分专家 |
| 路由机制 | 不需要专家路由 | 需要 Router |
| 总参数量 | 参数规模与计算规模联系紧密 | 可以扩大总参数而控制激活规模 |
| 计算特点 | 密集矩阵计算 | 稀疏专家计算 |
| 负载均衡 | 不涉及专家分配 | 需要负载均衡 |
| 通信开销 | 常规模型并行通信 | 可能增加专家间 All-to-All 通信 |
| 显存需求 | 取决于模型参数及训练状态 | 需要管理全部专家参数及训练状态 |
| 工程复杂度 | 相对简单 | 相对复杂 |
| 推理性能 | 计算路径规则 | 受路由、通信和专家负载影响 |
最重要的是区分三个概念:
- 模型总参数量:模型中所有可训练参数的数量。
- 激活参数量:一次前向计算中实际参与计算的参数数量。
- 计算量(FLOPs):执行一次前向或反向计算所需要的浮点运算量。
这三个指标并不等价。
尤其是 MoE,不能简单地用激活参数量代替总参数量,也不能直接用激活参数比例推算实际推理速度。
三、参数量的区别:为什么 MoE 可以拥有更多参数?
Dense 与 MoE 最重要的差异之一,就是总参数量与激活参数量之间的关系。
1. Dense 模型的参数量
假设一个 Dense FFN 包含两层线性变换:
其中:
- 输入维度为 d。
- 中间层维度为 d_{ff}。
- W_1\in\mathbb{R}^{d_{ff}\times d}。
- W_2\in\mathbb{R}^{d\times d_{ff}}。
忽略偏置参数,FFN 参数量为:
每个 Token 经过这个 FFN 时,都会执行这两组线性变换。
因此,该 FFN 的全部权重都会参与计算。
2. MoE 模型的参数量
假设 MoE 包含 N 个结构相同的专家,每个专家都是一个 FFN。
那么:
Router 的参数量通常远小于全部专家参数量。
如果每个 Token 选择 K 个专家,那么专家部分的激活参数量为:
两者比例为:
假设:
则:
这意味着每个 Token 只激活专家部分约 25% 的参数。
3. 一个具体例子
假设:
- 隐藏维度:4096。
- FFN 中间维度:14336。
- 专家数量:8。
- 每个 Token 激活 2 个专家。
单个专家参数量:
8 个专家总参数量:
每个 Token 激活的专家参数量:
这个例子体现了 MoE 的关键优势:
通过增加专家数量扩大模型容量,而不必让每个 Token 都计算全部专家。
但需要注意,完整模型还包括共享参数和其他计算模块,不能直接把上述比例当成整个模型的激活参数比例。
四、计算量的区别:参数少激活,不代表计算量按比例下降
理解 Dense 和 MoE,必须进一步区分参数量与计算量。
1. Dense 模型的计算
对于标准 Dense FFN,主要计算来自两次矩阵乘法。
单个 Token 的主要计算量近似为:
这里按照一次乘法和一次加法计为两个 FLOPs。
实际计算量还会受到激活函数、偏置、门控结构和具体 FFN 实现影响。
2. MoE 模型的计算
假设有 N 个专家,每个 Token 激活 K 个专家。
那么专家 FFN 的主要计算量近似为:
因此,相对于包含 N 个专家的全部 FFN 参数,单个 Token 的专家计算比例约为:
但这只是专家 FFN 部分的比较。
MoE 还需要额外执行:
- Router 线性投影。
- Softmax 和 Top-K 选择。
- Token 分发。
- 专家输出聚合。
- 跨设备通信。
所以,实际计算成本不能只看专家 FFN 的 FLOPs。
3. Dense 与 MoE 的计算成本对比
| 计算模块 | Dense | MoE |
|---|---|---|
| Attention | 正常计算 | 正常计算 |
| FFN | 完整 FFN | 被选中的专家 FFN |
| Router | 无 | 额外计算 |
| Top-K 选择 | 无 | 额外计算 |
| Token 分发 | 无专家分发 | 可能需要 |
| 输出聚合 | 无专家聚合 | 需要 |
| 跨设备通信 | 常规通信 | 可能增加 All-to-All |
需要特别注意:
如果比较的是一个 Dense FFN 和一个包含多个完整 FFN 专家的 MoE 层,那么两者本身就可能拥有不同的参数规模。
因此,不能简单地说 MoE 的计算量一定比 Dense 少。
更准确的比较方式是:
- 相同模型总参数量下比较激活计算量。
- 相同激活参数量下比较模型容量。
- 相同硬件资源下比较实际吞吐量与延迟。
- 相同训练预算下比较模型最终效果。
五、显存的区别:MoE 为什么不一定更省显存?
这是 Dense 与 MoE 最容易被误解的地方。
MoE 激活参数较少,不代表模型只需要存储激活参数。
1. 推理阶段的权重显存
Dense 模型通常需要存储完整模型参数。
MoE 模型也需要能够访问全部专家参数,因为不同 Token 可能被路由到不同专家。
假设:
- Dense 模型总参数量:70B。
- MoE 模型总参数量:200B。
- MoE 每个 Token 激活参数量:40B。
那么在全部专家常驻设备的部署方式下:
- Dense 需要存储约 70B 参数的权重。
- MoE 需要存储约 200B 参数的权重。
MoE 虽然每个 Token 只激活 40B 参数,但权重存储仍然需要覆盖全部专家。
实际部署可以通过专家并行,将权重分布到多个 GPU 上,但不会因此让整个集群需要存储的模型参数凭空减少。
2. 训练阶段的显存
训练显存不仅包括模型参数,还包括:
其中:
- M_{Param}:模型参数。
- M_{Grad}:梯度。
- M_{Optimizer}:优化器状态。
- M_{Activation}:前向计算保存的激活值。
- M_{Other}:通信缓冲区、临时张量等。
MoE 由于拥有更多专家参数,训练时还需要考虑所有专家参数对应的梯度和优化器状态。
当然,参数分片、混合精度、优化器状态卸载和激活检查点等技术,可以改变单卡实际显存需求。
3. 显存对比
| 维度 | Dense | MoE |
|---|---|---|
| 权重存储 | 完整 Dense 参数 | 通常需要管理全部专家参数 |
| 激活值 | 与密集计算路径有关 | 与实际激活专家及路由有关 |
| 梯度 | 覆盖模型训练参数 | 覆盖全部参与训练的专家参数 |
| 优化器状态 | 与模型参数规模相关 | 与全部专家参数规模相关 |
| 通信缓存 | 常规通信 | 可能增加专家分发缓存 |
| 分布式部署 | 常规模型切分 | 常结合专家并行 |
结论:
MoE 的主要优势是控制单次计算中的专家激活规模,而不是天然减少整个模型的参数存储需求。
六、推理速度的区别:Dense 一定比 MoE 慢吗?
不能只根据参数量或激活参数量判断推理速度。
真正的推理性能取决于计算、内存访问、通信和调度等多个因素。
1. Dense 推理的特点
Dense 模型的计算路径比较规则:
- 每层执行 Attention。
- 每层执行完整 FFN。
- 矩阵计算结构相对固定。
- GPU 容易形成规则的批量矩阵运算。
这种结构有利于成熟的 GPU 算子优化和计算调度。
2. MoE 推理的特点
MoE 需要先执行路由,再将 Token 分配给不同专家。
如果专家分布在多个 GPU 上,还需要进行跨设备通信。
因此,MoE 的推理过程更复杂。
flowchart TB
A["接收输入 Token"]
B["Router 计算路由"]
C["选择 Top-K 专家"]
D["Token 按专家重新分组"]
E["跨 GPU 分发"]
F["专家执行计算"]
G["专家输出回传"]
H["恢复 Token 顺序并聚合"]
I["进入下一层"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这些额外步骤可能抵消一部分稀疏计算带来的优势。
3. Prefill 与 Decode 的区别
大语言模型推理通常分为两个阶段。
Prefill 阶段
模型一次性处理 Prompt 中的大量 Token。
例如,一个输入包含 4096 个 Token,Router 需要为这些 Token 选择专家。
此时通常可以形成较大的专家计算批次,有利于矩阵计算和设备利用率。
Decode 阶段
模型逐步生成 Token。
每一步通常只生成一个或少量 Token。
这可能导致:
- 专家收到的 Token 数量较少。
- 专家矩阵计算批次较小。
- GPU 计算利用率下降。
- 通信和调度开销占比上升。
因此,同一个 MoE 模型在 Prefill 和 Decode 阶段的性能可能差异明显。
4. 推理速度取决于什么?
| 影响因素 | Dense | MoE |
|---|---|---|
| 矩阵计算效率 | 通常较规则 | 取决于专家批次大小 |
| GPU 利用率 | 相对容易优化 | 受路由分布影响 |
| 通信开销 | 常规并行通信 | 可能有较高专家通信开销 |
| 内存访问 | 相对连续 | 可能存在专家权重访问分散 |
| Token 调度 | 相对简单 | 需要路由和重新分组 |
| Decode 延迟 | 计算路径相对稳定 | 可能受到通信和小批次影响 |
所以:
- Dense 不一定比 MoE 慢。
- MoE 不一定比 Dense 快。
- MoE 的激活参数量更少,也不代表实际延迟一定更低。
必须在具体硬件、模型配置、批量大小和推理框架下进行 Benchmark。
七、训练难度的区别:为什么 MoE 更复杂?
Dense 模型的训练目标通常是直接优化模型的预测损失。
MoE 除了优化模型本身,还需要优化专家路由和专家负载分配。
1. Dense 模型训练
以自回归语言模型为例:
训练过程:
flowchart TB
A["输入 Token"]
B["Dense Transformer"]
C["预测下一个 Token"]
D["计算 Cross Entropy Loss"]
E["反向传播"]
F["优化器更新参数"]
A --> B
B --> C
C --> D
D --> E
E --> F
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
2. MoE 模型训练
MoE 同样需要优化语言模型预测损失,但还需要处理:
- Router 参数训练。
- 专家参数训练。
- 专家负载均衡。
- 专家容量限制。
- Token 分发与聚合。
- 跨设备梯度同步。
一种常见的训练目标可以写成:
其中:
- L_{LM}:语言模型主任务损失。
- L_{aux}:辅助负载均衡损失。
- \lambda:辅助损失权重。
不同 MoE 架构可能采用不同的负载均衡机制,不一定都使用传统 Auxiliary Loss。