返回专栏
· 17 分钟阅读

什么是 MoE 混合专家模型?从稀疏激活到专家路由的架构原理


一、什么是 MoE 混合专家模型?

MoE(Mixture of Experts)是一种由多个专家子网络和路由网络组成的模型架构。

它的核心思想是:

不让所有参数参与每一次计算,而是根据当前输入,动态选择部分专家完成计算。

传统 Dense Transformer 中,每个 Token 经过 Transformer 层时,通常都会经过完整的前馈神经网络(FFN)。

MoE 则将 FFN 替换为多个专家网络,并通过路由机制选择其中一部分专家。

例如,一个 MoE 层包含 8 个专家,每个 Token 只激活其中 2 个专家:

  • 专家总数:8 个。
  • 每个 Token 激活:2 个。
  • 激活比例:25%。
  • 未被选中的专家不参与当前 Token 的专家计算。

这意味着模型可以拥有较大的总参数量,但每次前向计算只使用其中一部分参数。

需要注意:MoE 并不是让模型随机挑选几个神经网络,而是通过可训练的路由网络,根据 Token 的表示动态分配计算任务。

Dense 模型与 MoE 模型

Dense Transformer

flowchart TB
    A["输入 Token"]
    B["Attention"]
    C["完整 FFN"]
    D["输出表示"]

    A --> B
    B --> C
    C --> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49

MoE Transformer

flowchart TB
    A["输入 Token"]
    B["Attention"]
    C["Router 路由网络"]
    D["专家 1"]
    E["专家 2"]
    F["专家 3"]
    G["专家 N"]
    H["加权聚合"]
    I["输出表示"]

    A --> B
    B --> C
    C --> D
    C --> E
    C -.-> F
    C -.-> G
    D --> H
    E --> H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

图中实线表示被选择的专家参与计算,虚线表示未被激活的专家。

MoE 的关键不是简单增加专家数量,而是建立一套有效的动态路由机制,使不同 Token 能够选择合适的计算路径。


二、为什么需要 MoE?

大语言模型的能力与模型容量、训练数据、训练方法和计算资源密切相关。

随着模型规模不断扩大,Dense 模型面临一个现实问题:

模型参数越多,每次前向计算和反向传播通常也需要处理越多参数。

例如,假设一个 Dense 模型有 100B 参数,那么每个 Token 在经过模型时,绝大多数模型参数都会参与计算。

如果希望模型拥有更大的参数容量,Dense 架构通常需要同步承担更高的计算成本。

MoE 提供了另一种扩展方式:

  • 增加专家网络,扩大模型总参数规模。
  • 使用路由网络选择少量专家。
  • 只让被选中的专家参与当前 Token 的专家计算。
  • 通过稀疏激活控制单次计算量。

Dense 与 MoE 的核心区别

对比维度 Dense 模型 MoE 模型
网络结构 单一 FFN 路径 多个专家 FFN
专家选择 不涉及 Router 动态选择
参数激活 通常全部激活 仅激活部分专家
总参数规模 与计算规模关联较紧密 可扩大总参数而控制激活参数
计算特点 密集计算 稀疏计算
工程复杂度 相对简单 路由、通信和负载均衡更复杂
显存需求 取决于模型参数与训练状态 需要容纳全部专家参数及相关状态

这里需要区分两个概念:

  • 总参数量(Total Parameters):模型中所有可训练参数的总和。
  • 激活参数量(Activated Parameters):一次前向计算中实际参与计算的参数规模。

MoE 可以做到总参数量很大,而单次激活参数量相对较小。

但激活参数少,不代表模型整体显存占用也少。推理时通常仍然需要存放全部专家权重,或者通过专家分布式部署、按需加载等方式管理权重。


三、MoE 的核心组成

一个典型的 Transformer MoE 层主要包含三个部分:

  1. Router:路由网络。
  2. Experts:专家网络。
  3. Aggregation:专家输出聚合。

1. Router:路由网络

Router 负责判断当前 Token 应该交给哪些专家处理。

它通常是一个可训练的线性投影层,根据输入 Token 的隐藏状态计算各个专家的路由分数。

假设:

  • 输入隐藏状态维度为 d。
  • 专家数量为 N。
  • Router 权重矩阵为 W_r。

输入隐藏状态:

h\in\mathbb{R}^{d}

路由权重矩阵:

W_r\in\mathbb{R}^{N\times d}

Router 首先计算专家 Logits:

z=W_rh

其中:

z\in\mathbb{R}^{N}

然后通过 Softmax 得到各个专家的路由概率:

p_i= \frac{\exp(z_i)} {\sum_{j=1}^{N}\exp(z_j)}

其中:

  • z_i:第 i 个专家的路由 Logit。
  • p_i:Token 被分配给第 i 个专家的概率。
  • N:专家总数。

例如,一个 Token 经过 Router 后得到:

专家 路由概率
Expert 1 0.08
Expert 2 0.35
Expert 3 0.12
Expert 4 0.28
Expert 5 0.05
Expert 6 0.04
Expert 7 0.05
Expert 8 0.03

如果采用 Top-2 路由机制,模型会选择概率最高的两个专家:

  • Expert 2:0.35。
  • Expert 4:0.28。

这两个专家参与当前 Token 的计算。

需要注意,Router 输出的概率是路由网络计算得到的分配权重,不代表专家回答正确的概率,也不代表专家具有固定的人类可解释技能。

2. Experts:专家网络

Expert 是实际执行计算的子网络。

在 Transformer 中,最常见的 MoE 实现是将原本的 FFN 替换为多个独立的 FFN 专家。

每个专家通常拥有自己的参数。

例如:

E_1(h),E_2(h),\ldots,E_N(h)

每个专家都可以采用标准的前馈神经网络结构。

典型 FFN:

FFN(x)=W_2\sigma(W_1x+b_1)+b_2

其中:

  • W_1:升维投影矩阵。
  • W_2:降维投影矩阵。
  • \sigma:激活函数,例如 GELU 或 SiLU。

在 MoE 中,每个专家拥有独立的 FFN 参数:

E_i(x)=W_{2,i}\sigma(W_{1,i}x+b_{1,i})+b_{2,i}

不同专家的参数独立训练,但通常处于同一个模型训练目标下。

需要强调:

专家并不是预先人工指定的功能模块。

例如,不能直接认定:

  • Expert 1 专门负责数学。
  • Expert 2 专门负责代码。
  • Expert 3 专门负责中文。

训练过程中,Router 和 Experts 共同优化,可能逐渐形成不同的分工模式,但这种分工不一定稳定、独立或能够被简单解释。

3. Aggregation:专家输出聚合

当 Router 选择多个专家后,各个专家分别计算输出,模型需要将这些结果合并。

假设选择了 Top-2 专家:

E_2(h),E_4(h)

对应路由权重:

g_2,g_4

那么输出可以表示为:

y=g_2E_2(h)+g_4E_4(h)

其中:

  • E_2(h):第二个专家的输出。
  • E_4(h):第四个专家的输出。
  • g_2,g_4:对应专家的路由权重。

不同 MoE 实现对路由权重的归一化、缩放和组合方式可能有所不同。

例如,部分实现会对选中的 Top-K 权重重新归一化:

g_i= \frac{p_i} {\sum_{j\in TopK}p_j}

这样被选中专家的权重之和为 1。

另一些实现则保留原始 Softmax 概率,或采用其他路由权重处理方式。

因此,理解 MoE 时不能把某一种权重归一化方式当成所有架构的固定规则。


四、Top-K 路由机制:MoE 如何选择专家?

Top-K Routing 是目前常见的 MoE 路由方式。

其核心逻辑是:

根据 Router 计算的专家概率,选择得分最高的 K 个专家。

假设:

N=8,\quad K=2

表示模型有 8 个专家,每个 Token 选择 2 个专家。

路由过程:

flowchart TB
    A["Token 隐藏状态 h"]
    B["Router 线性投影"]
    C["计算专家 Logits"]
    D["Softmax 得到路由概率"]
    E["Top-K 选择专家"]
    F["专家网络并行计算"]
    G["按路由权重聚合"]
    H["输出结果"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

Top-1 与 Top-2

Top-1 Routing

每个 Token 只选择一个专家:

y=E_{i^*}(h)

其中:

i^*=\arg\max_i p_i

优点:

  • 激活专家数量少。
  • 专家计算开销较低。
  • 路由路径相对简单。

缺点:

  • 每个 Token 只有一个专家参与计算。
  • 专家选择错误时,缺少其他专家共同参与的机会。
  • 负载均衡和路由稳定性仍然需要处理。

Top-2 Routing

每个 Token 选择两个专家:

y=g_1E_{i_1}(h)+g_2E_{i_2}(h)

其中 i_1,i_2 是路由概率最高的两个专家。

优点:

  • 多个专家共同处理 Token。
  • 能够组合不同专家的表示。
  • 在部分架构中有助于提升模型表达能力。

代价是增加专家计算和通信量。

Top-K 中的 K 越大,通常意味着更多专家参与计算,但并不意味着模型性能一定越好。

路由选择不等于专家能力评分

一个容易混淆的地方是:

Router 的概率反映的是当前模型学到的路由偏好,而不是专家在某个任务上的客观能力排名。

例如,Expert 2 的路由概率最高,并不能说明它在所有任务上都比 Expert 4 更强。

路由决策依赖当前 Token 的隐藏状态,也依赖模型训练形成的路由参数。


五、MoE 在 Transformer 中处于什么位置?

MoE 通常不是完全替代 Transformer,而是替换 Transformer 中部分 FFN 子层。

一个典型的 Transformer Block 包含:

  1. Self-Attention。
  2. FFN。
  3. 残差连接。
  4. LayerNorm 或 RMSNorm 等归一化结构。

MoE 架构通常保留 Attention,将 FFN 替换为 MoE 层。

Dense Transformer Block

flowchart TB
    A["输入隐藏状态"]
    B["归一化"]
    C["Self-Attention"]
    D["残差连接"]
    E["归一化"]
    F["Dense FFN"]
    G["残差连接"]
    H["输出隐藏状态"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

MoE Transformer Block

flowchart TB
    A["输入隐藏状态"]
    B["归一化"]
    C["Self-Attention"]
    D["残差连接"]
    E["归一化"]
    F["MoE Router"]
    G["Expert 1"]
    H["Expert 2"]
    I["Expert N"]
    J["专家输出聚合"]
    K["残差连接"]
    L["输出隐藏状态"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    F --> H
    F -.-> I
    G --> J
    H --> J
    J --> K
    K --> L

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里有一个重要细节:

并不是所有 Transformer 层都必须使用 MoE。

实际模型可以采用混合设计:

  • 部分层使用 Dense FFN。
  • 部分层使用 MoE FFN。
  • Attention 层仍然采用常规注意力机制。
  • 不同 MoE 层可以拥有不同数量的专家和不同的 Top-K 配置。

这种设计能够在模型容量、计算成本和训练稳定性之间进行权衡。


六、MoE 的参数量与计算量如何理解?

这是理解 MoE 最重要的部分之一。

MoE 的价值在于:总参数规模和单次激活参数规模可以分离。

1. Dense FFN 参数量

假设:

  • 隐藏维度为 d。
  • FFN 中间维度为 d_{ff}。
  • 使用两层线性投影。

忽略偏置参数,FFN 参数量为:

P_{FFN}=d\cdot d_{ff}+d_{ff}\cdot d

因此:

P_{FFN}=2dd_{ff}

2. MoE 专家参数量

假设一个 MoE 层包含 N 个结构相同的专家,每个专家都是上述 FFN。

那么专家总参数量:

P_{Experts}=N\cdot 2dd_{ff}

如果还有 Router,其参数量约为:

P_{Router}=Nd

忽略偏置和其他结构参数,MoE 层的参数量约为:

P_{MoE}=2Ndd_{ff}+Nd

可以看出,专家数量增加时,MoE 的总参数量也会增加。

3. MoE 激活参数量

如果每个 Token 只选择 K 个专家,那么单个 Token 激活的专家参数量约为:

P_{Active}=2Kdd_{ff}

Router 仍然需要计算所有专家对应的路由分数,其计算量通常远小于专家 FFN 的计算量,但不能将其视为零。

假设:

N=8,\quad K=2

则:

\frac{P_{Active}}{P_{Experts}}=\frac{2}{8}=25\%

也就是说,专家部分每个 Token 只激活约四分之一的专家参数。

这并不意味着整个 Transformer 的激活参数量恰好是总参数量的 25%,因为 Attention、Embedding、归一化、输出层以及其他结构仍然需要计算。

4. 参数量示例

假设:

  • 隐藏维度:4096。
  • FFN 中间维度:14336。
  • 专家数量:8。
  • 每个 Token 激活 2 个专家。

单个专家参数量:

2\times4096\times14336 =117,440,512

约为 117.4M 参数。

8 个专家总参数量:

8\times117.4M\approx939.5M

每个 Token 激活的专家参数量:

2\times117.4M\approx234.9M

以上仅计算 MoE 专家 FFN 权重,未计入 Router、Attention、Embedding、输出层、偏置和其他参数。

这个例子说明:

MoE 可以通过增加专家数量扩大模型容量,同时让每个 Token 只使用部分专家。

但不能由此直接推断 MoE 的实际推理延迟就是 Dense 模型的四分之一。专家分发、通信、负载不均衡、内存访问和调度开销都会影响真实性能。


七、MoE 的关键难点:负载均衡

MoE 看起来只需要选择几个专家,但实际训练中有一个非常重要的问题:

不同专家接收到的 Token 数量可能严重不均衡。

例如,一个 MoE 层有 8 个专家,每个 Token 选择 2 个专家。

理想情况下,每个专家能够分配到相对均衡的 Token。

但在实际训练中,Router 可能逐渐偏向少数几个专家:

专家 接收 Token 数量
Expert 1 800
Expert 2 720
Expert 3 30
Expert 4 20
Expert 5 15
Expert 6 10
Expert 7 5
Expert 8 0

这会产生几个问题:

  • 热门专家负载过高,成为计算瓶颈。
  • 冷门专家缺少训练样本,难以充分学习。
  • 不同设备上的计算量不均衡。
  • 专家间通信和调度效率下降。
  • 模型容量没有得到充分利用。

这种现象通常称为 Expert Load Imbalance(专家负载不均衡)。

1. 为什么会出现负载不均衡?

Router 和 Experts 是共同训练的。

当某些专家更频繁地被选择时,它们会接收到更多训练样本,参数更新也更加充分。

这可能进一步强化 Router 对这些专家的偏好。

由此形成一种正反馈:

flowchart TB
    A["Router 偏向少数专家"]
    B["少数专家接收更多 Token"]
    C["热门专家获得更多训练"]
    D["专家之间训练机会不均衡"]
    E["路由分配进一步集中"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> A

    style A fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

这并不是所有 MoE 训练都会必然发生的结果,但如果缺少合适的负载控制机制,就可能出现路由集中和专家利用率下降。

2. Auxiliary Load Balancing Loss

一种经典方法是增加辅助负载均衡损失(Auxiliary Load Balancing Loss)。

它通过额外的训练目标,鼓励 Router 将 Token 相对均匀地分配给不同专家。

一种常见形式为:

L_{aux}=\alpha N\sum_{i=1}^{N}f_iP_i

其中:

  • N:专家数量。
  • f_i:实际分配给专家 i 的 Token 比例。
  • P_i:Router 对专家 i 的平均路由概率。
  • \alpha:辅助损失权重。

其中:

f_i=\frac{1}{TK}\sum_{t=1}^{T} \mathbf{1}[i\in TopK(t)]

这里:

  • T:当前统计范围内的 Token 数量。
  • K:每个 Token 选择的专家数。
  • \mathbf{1}:指示函数,表示专家是否被当前 Token 选中。

平均路由概率:

P_i=\frac{1}{T}\sum_{t=1}^{T}p_{t,i}

当 Token 分配较为均衡时,f_i 和 P_i 的分布通常不会过度集中。

需要注意,这是一种经典辅助损失形式,不是所有 MoE 模型都使用完全相同的公式。

例如,部分架构会使用其他均衡目标、路由约束或不依赖传统辅助损失的负载控制方法。

3. Expert Capacity:专家容量

除了辅助损失,还需要考虑每个专家能够接收多少 Token。

假设一个批次中有 T 个 Token,每个 Token 选择 K 个专家,专家数量为 N。

平均每个专家分配到的 Token 数量约为:

C_{avg}=\frac{TK}{N}

实际系统通常会设置专家容量(Expert Capacity),允许每个专家最多接收一定数量的 Token。

例如: