一、什么是 MoE 混合专家模型?
MoE(Mixture of Experts)是一种由多个专家子网络和路由网络组成的模型架构。
它的核心思想是:
不让所有参数参与每一次计算,而是根据当前输入,动态选择部分专家完成计算。
传统 Dense Transformer 中,每个 Token 经过 Transformer 层时,通常都会经过完整的前馈神经网络(FFN)。
MoE 则将 FFN 替换为多个专家网络,并通过路由机制选择其中一部分专家。
例如,一个 MoE 层包含 8 个专家,每个 Token 只激活其中 2 个专家:
- 专家总数:8 个。
- 每个 Token 激活:2 个。
- 激活比例:25%。
- 未被选中的专家不参与当前 Token 的专家计算。
这意味着模型可以拥有较大的总参数量,但每次前向计算只使用其中一部分参数。
需要注意:MoE 并不是让模型随机挑选几个神经网络,而是通过可训练的路由网络,根据 Token 的表示动态分配计算任务。
Dense 模型与 MoE 模型
flowchart TB
A["输入 Token"]
B["Attention"]
C["完整 FFN"]
D["输出表示"]
A --> B
B --> C
C --> D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
flowchart TB
A["输入 Token"]
B["Attention"]
C["Router 路由网络"]
D["专家 1"]
E["专家 2"]
F["专家 3"]
G["专家 N"]
H["加权聚合"]
I["输出表示"]
A --> B
B --> C
C --> D
C --> E
C -.-> F
C -.-> G
D --> H
E --> H
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
style E fill:#E5F0E9,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
图中实线表示被选择的专家参与计算,虚线表示未被激活的专家。
MoE 的关键不是简单增加专家数量,而是建立一套有效的动态路由机制,使不同 Token 能够选择合适的计算路径。
二、为什么需要 MoE?
大语言模型的能力与模型容量、训练数据、训练方法和计算资源密切相关。
随着模型规模不断扩大,Dense 模型面临一个现实问题:
模型参数越多,每次前向计算和反向传播通常也需要处理越多参数。
例如,假设一个 Dense 模型有 100B 参数,那么每个 Token 在经过模型时,绝大多数模型参数都会参与计算。
如果希望模型拥有更大的参数容量,Dense 架构通常需要同步承担更高的计算成本。
MoE 提供了另一种扩展方式:
- 增加专家网络,扩大模型总参数规模。
- 使用路由网络选择少量专家。
- 只让被选中的专家参与当前 Token 的专家计算。
- 通过稀疏激活控制单次计算量。
Dense 与 MoE 的核心区别
| 对比维度 | Dense 模型 | MoE 模型 |
|---|---|---|
| 网络结构 | 单一 FFN 路径 | 多个专家 FFN |
| 专家选择 | 不涉及 | Router 动态选择 |
| 参数激活 | 通常全部激活 | 仅激活部分专家 |
| 总参数规模 | 与计算规模关联较紧密 | 可扩大总参数而控制激活参数 |
| 计算特点 | 密集计算 | 稀疏计算 |
| 工程复杂度 | 相对简单 | 路由、通信和负载均衡更复杂 |
| 显存需求 | 取决于模型参数与训练状态 | 需要容纳全部专家参数及相关状态 |
这里需要区分两个概念:
- 总参数量(Total Parameters):模型中所有可训练参数的总和。
- 激活参数量(Activated Parameters):一次前向计算中实际参与计算的参数规模。
MoE 可以做到总参数量很大,而单次激活参数量相对较小。
但激活参数少,不代表模型整体显存占用也少。推理时通常仍然需要存放全部专家权重,或者通过专家分布式部署、按需加载等方式管理权重。
三、MoE 的核心组成
一个典型的 Transformer MoE 层主要包含三个部分:
- Router:路由网络。
- Experts:专家网络。
- Aggregation:专家输出聚合。
1. Router:路由网络
Router 负责判断当前 Token 应该交给哪些专家处理。
它通常是一个可训练的线性投影层,根据输入 Token 的隐藏状态计算各个专家的路由分数。
假设:
- 输入隐藏状态维度为 d。
- 专家数量为 N。
- Router 权重矩阵为 W_r。
输入隐藏状态:
路由权重矩阵:
Router 首先计算专家 Logits:
其中:
然后通过 Softmax 得到各个专家的路由概率:
其中:
- z_i:第 i 个专家的路由 Logit。
- p_i:Token 被分配给第 i 个专家的概率。
- N:专家总数。
例如,一个 Token 经过 Router 后得到:
| 专家 | 路由概率 |
|---|---|
| Expert 1 | 0.08 |
| Expert 2 | 0.35 |
| Expert 3 | 0.12 |
| Expert 4 | 0.28 |
| Expert 5 | 0.05 |
| Expert 6 | 0.04 |
| Expert 7 | 0.05 |
| Expert 8 | 0.03 |
如果采用 Top-2 路由机制,模型会选择概率最高的两个专家:
- Expert 2:0.35。
- Expert 4:0.28。
这两个专家参与当前 Token 的计算。
需要注意,Router 输出的概率是路由网络计算得到的分配权重,不代表专家回答正确的概率,也不代表专家具有固定的人类可解释技能。
2. Experts:专家网络
Expert 是实际执行计算的子网络。
在 Transformer 中,最常见的 MoE 实现是将原本的 FFN 替换为多个独立的 FFN 专家。
每个专家通常拥有自己的参数。
例如:
每个专家都可以采用标准的前馈神经网络结构。
典型 FFN:
其中:
- W_1:升维投影矩阵。
- W_2:降维投影矩阵。
- \sigma:激活函数,例如 GELU 或 SiLU。
在 MoE 中,每个专家拥有独立的 FFN 参数:
不同专家的参数独立训练,但通常处于同一个模型训练目标下。
需要强调:
专家并不是预先人工指定的功能模块。
例如,不能直接认定:
- Expert 1 专门负责数学。
- Expert 2 专门负责代码。
- Expert 3 专门负责中文。
训练过程中,Router 和 Experts 共同优化,可能逐渐形成不同的分工模式,但这种分工不一定稳定、独立或能够被简单解释。
3. Aggregation:专家输出聚合
当 Router 选择多个专家后,各个专家分别计算输出,模型需要将这些结果合并。
假设选择了 Top-2 专家:
对应路由权重:
那么输出可以表示为:
其中:
- E_2(h):第二个专家的输出。
- E_4(h):第四个专家的输出。
- g_2,g_4:对应专家的路由权重。
不同 MoE 实现对路由权重的归一化、缩放和组合方式可能有所不同。
例如,部分实现会对选中的 Top-K 权重重新归一化:
这样被选中专家的权重之和为 1。
另一些实现则保留原始 Softmax 概率,或采用其他路由权重处理方式。
因此,理解 MoE 时不能把某一种权重归一化方式当成所有架构的固定规则。
四、Top-K 路由机制:MoE 如何选择专家?
Top-K Routing 是目前常见的 MoE 路由方式。
其核心逻辑是:
根据 Router 计算的专家概率,选择得分最高的 K 个专家。
假设:
表示模型有 8 个专家,每个 Token 选择 2 个专家。
路由过程:
flowchart TB
A["Token 隐藏状态 h"]
B["Router 线性投影"]
C["计算专家 Logits"]
D["Softmax 得到路由概率"]
E["Top-K 选择专家"]
F["专家网络并行计算"]
G["按路由权重聚合"]
H["输出结果"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
Top-1 与 Top-2
Top-1 Routing
每个 Token 只选择一个专家:
其中:
优点:
- 激活专家数量少。
- 专家计算开销较低。
- 路由路径相对简单。
缺点:
- 每个 Token 只有一个专家参与计算。
- 专家选择错误时,缺少其他专家共同参与的机会。
- 负载均衡和路由稳定性仍然需要处理。
Top-2 Routing
每个 Token 选择两个专家:
其中 i_1,i_2 是路由概率最高的两个专家。
优点:
- 多个专家共同处理 Token。
- 能够组合不同专家的表示。
- 在部分架构中有助于提升模型表达能力。
代价是增加专家计算和通信量。
Top-K 中的 K 越大,通常意味着更多专家参与计算,但并不意味着模型性能一定越好。
路由选择不等于专家能力评分
一个容易混淆的地方是:
Router 的概率反映的是当前模型学到的路由偏好,而不是专家在某个任务上的客观能力排名。
例如,Expert 2 的路由概率最高,并不能说明它在所有任务上都比 Expert 4 更强。
路由决策依赖当前 Token 的隐藏状态,也依赖模型训练形成的路由参数。
五、MoE 在 Transformer 中处于什么位置?
MoE 通常不是完全替代 Transformer,而是替换 Transformer 中部分 FFN 子层。
一个典型的 Transformer Block 包含:
- Self-Attention。
- FFN。
- 残差连接。
- LayerNorm 或 RMSNorm 等归一化结构。
MoE 架构通常保留 Attention,将 FFN 替换为 MoE 层。
Dense Transformer Block
flowchart TB
A["输入隐藏状态"]
B["归一化"]
C["Self-Attention"]
D["残差连接"]
E["归一化"]
F["Dense FFN"]
G["残差连接"]
H["输出隐藏状态"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
MoE Transformer Block
flowchart TB
A["输入隐藏状态"]
B["归一化"]
C["Self-Attention"]
D["残差连接"]
E["归一化"]
F["MoE Router"]
G["Expert 1"]
H["Expert 2"]
I["Expert N"]
J["专家输出聚合"]
K["残差连接"]
L["输出隐藏状态"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
F --> H
F -.-> I
G --> J
H --> J
J --> K
K --> L
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里有一个重要细节:
并不是所有 Transformer 层都必须使用 MoE。
实际模型可以采用混合设计:
- 部分层使用 Dense FFN。
- 部分层使用 MoE FFN。
- Attention 层仍然采用常规注意力机制。
- 不同 MoE 层可以拥有不同数量的专家和不同的 Top-K 配置。
这种设计能够在模型容量、计算成本和训练稳定性之间进行权衡。
六、MoE 的参数量与计算量如何理解?
这是理解 MoE 最重要的部分之一。
MoE 的价值在于:总参数规模和单次激活参数规模可以分离。
1. Dense FFN 参数量
假设:
- 隐藏维度为 d。
- FFN 中间维度为 d_{ff}。
- 使用两层线性投影。
忽略偏置参数,FFN 参数量为:
因此:
2. MoE 专家参数量
假设一个 MoE 层包含 N 个结构相同的专家,每个专家都是上述 FFN。
那么专家总参数量:
如果还有 Router,其参数量约为:
忽略偏置和其他结构参数,MoE 层的参数量约为:
可以看出,专家数量增加时,MoE 的总参数量也会增加。
3. MoE 激活参数量
如果每个 Token 只选择 K 个专家,那么单个 Token 激活的专家参数量约为:
Router 仍然需要计算所有专家对应的路由分数,其计算量通常远小于专家 FFN 的计算量,但不能将其视为零。
假设:
则:
也就是说,专家部分每个 Token 只激活约四分之一的专家参数。
这并不意味着整个 Transformer 的激活参数量恰好是总参数量的 25%,因为 Attention、Embedding、归一化、输出层以及其他结构仍然需要计算。
4. 参数量示例
假设:
- 隐藏维度:4096。
- FFN 中间维度:14336。
- 专家数量:8。
- 每个 Token 激活 2 个专家。
单个专家参数量:
约为 117.4M 参数。
8 个专家总参数量:
每个 Token 激活的专家参数量:
这个例子说明:
MoE 可以通过增加专家数量扩大模型容量,同时让每个 Token 只使用部分专家。
但不能由此直接推断 MoE 的实际推理延迟就是 Dense 模型的四分之一。专家分发、通信、负载不均衡、内存访问和调度开销都会影响真实性能。
七、MoE 的关键难点:负载均衡
MoE 看起来只需要选择几个专家,但实际训练中有一个非常重要的问题:
不同专家接收到的 Token 数量可能严重不均衡。
例如,一个 MoE 层有 8 个专家,每个 Token 选择 2 个专家。
理想情况下,每个专家能够分配到相对均衡的 Token。
但在实际训练中,Router 可能逐渐偏向少数几个专家:
| 专家 | 接收 Token 数量 |
|---|---|
| Expert 1 | 800 |
| Expert 2 | 720 |
| Expert 3 | 30 |
| Expert 4 | 20 |
| Expert 5 | 15 |
| Expert 6 | 10 |
| Expert 7 | 5 |
| Expert 8 | 0 |
这会产生几个问题:
- 热门专家负载过高,成为计算瓶颈。
- 冷门专家缺少训练样本,难以充分学习。
- 不同设备上的计算量不均衡。
- 专家间通信和调度效率下降。
- 模型容量没有得到充分利用。
这种现象通常称为 Expert Load Imbalance(专家负载不均衡)。
1. 为什么会出现负载不均衡?
Router 和 Experts 是共同训练的。
当某些专家更频繁地被选择时,它们会接收到更多训练样本,参数更新也更加充分。
这可能进一步强化 Router 对这些专家的偏好。
由此形成一种正反馈:
flowchart TB
A["Router 偏向少数专家"]
B["少数专家接收更多 Token"]
C["热门专家获得更多训练"]
D["专家之间训练机会不均衡"]
E["路由分配进一步集中"]
A --> B
B --> C
C --> D
D --> E
E --> A
style A fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
这并不是所有 MoE 训练都会必然发生的结果,但如果缺少合适的负载控制机制,就可能出现路由集中和专家利用率下降。
2. Auxiliary Load Balancing Loss
一种经典方法是增加辅助负载均衡损失(Auxiliary Load Balancing Loss)。
它通过额外的训练目标,鼓励 Router 将 Token 相对均匀地分配给不同专家。
一种常见形式为:
其中:
- N:专家数量。
- f_i:实际分配给专家 i 的 Token 比例。
- P_i:Router 对专家 i 的平均路由概率。
- \alpha:辅助损失权重。
其中:
这里:
- T:当前统计范围内的 Token 数量。
- K:每个 Token 选择的专家数。
- \mathbf{1}:指示函数,表示专家是否被当前 Token 选中。
平均路由概率:
当 Token 分配较为均衡时,f_i 和 P_i 的分布通常不会过度集中。
需要注意,这是一种经典辅助损失形式,不是所有 MoE 模型都使用完全相同的公式。
例如,部分架构会使用其他均衡目标、路由约束或不依赖传统辅助损失的负载控制方法。
3. Expert Capacity:专家容量
除了辅助损失,还需要考虑每个专家能够接收多少 Token。
假设一个批次中有 T 个 Token,每个 Token 选择 K 个专家,专家数量为 N。
平均每个专家分配到的 Token 数量约为:
实际系统通常会设置专家容量(Expert Capacity),允许每个专家最多接收一定数量的 Token。
例如: