返回专栏
· 17 分钟阅读

Dense 模型与 MoE 模型的区别:从参数激活到计算效率的架构对比


一、Dense 与 MoE:两种不同的模型架构

Dense 模型和 MoE 模型是大语言模型中两种重要的网络架构设计。

它们最核心的区别在于:模型中的参数是否全部参与每一次前向计算。

1. Dense 模型是什么?

Dense,通常称为稠密模型。

在 Dense Transformer 中,每一层通常包含:

  • Self-Attention:负责 Token 之间的信息交互。
  • FFN:负责对每个 Token 的表示进行非线性变换。
  • 残差连接与归一化:帮助模型稳定训练。

当 Token 经过一个 Dense Transformer Block 时,通常会经过完整的 Attention 和 FFN 计算。

假设模型有 70B 参数,那么在标准 Dense 架构下,绝大多数模型参数都会参与每个 Token 的前向计算。

这里的「全部参与」是指模型的稠密参数路径,并不意味着每个参数都对每个输入产生相同程度的影响。

2. MoE 模型是什么?

MoE(Mixture of Experts,混合专家模型)将部分 FFN 替换为多个独立的专家网络。

每个 Token 经过路由网络(Router)后,只选择其中一部分专家参与计算。

例如:

  • 专家总数:8 个。
  • 每个 Token 激活:2 个专家。
  • 每个 Token 只经过 25% 的专家。

因此,MoE 可以拥有较大的总参数量,但每次只激活部分专家参数。

3. 两种架构的计算流程

Dense 模型:

flowchart TB
    A["输入 Token"]
    B["Embedding"]
    C["Self-Attention"]
    D["完整 FFN"]
    E["输出隐藏状态"]

    A --> B
    B --> C
    C --> D
    D --> E

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49

MoE 模型:

flowchart TB
    A["输入 Token"]
    B["Embedding"]
    C["Self-Attention"]
    D["Router"]
    E["Expert 1"]
    F["Expert 2"]
    G["Expert 3"]
    H["Expert N"]
    I["专家输出聚合"]
    J["输出隐藏状态"]

    A --> B
    B --> C
    C --> D
    D --> E
    D --> F
    D -.-> G
    D -.-> H
    E --> I
    F --> I
    I --> J

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

图中实线表示被选择的专家,虚线表示未被激活的专家。

需要注意,MoE 通常只替换 Transformer 的部分 FFN 层,并不是将整个 Transformer 变成一组互不相关的专家网络。


二、Dense 与 MoE 的核心区别

先从整体上比较两种架构。

对比维度 Dense 模型 MoE 模型
中文名称 稠密模型 混合专家模型
网络结构 单一密集计算路径 多专家稀疏计算路径
FFN 结构 一个完整 FFN 多个专家 FFN
参数激活 通常全部激活 仅激活部分专家
路由机制 不需要专家路由 需要 Router
总参数量 参数规模与计算规模联系紧密 可以扩大总参数而控制激活规模
计算特点 密集矩阵计算 稀疏专家计算
负载均衡 不涉及专家分配 需要负载均衡
通信开销 常规模型并行通信 可能增加专家间 All-to-All 通信
显存需求 取决于模型参数及训练状态 需要管理全部专家参数及训练状态
工程复杂度 相对简单 相对复杂
推理性能 计算路径规则 受路由、通信和专家负载影响

最重要的是区分三个概念:

  • 模型总参数量:模型中所有可训练参数的数量。
  • 激活参数量:一次前向计算中实际参与计算的参数数量。
  • 计算量(FLOPs):执行一次前向或反向计算所需要的浮点运算量。

这三个指标并不等价。

尤其是 MoE,不能简单地用激活参数量代替总参数量,也不能直接用激活参数比例推算实际推理速度。


三、参数量的区别:为什么 MoE 可以拥有更多参数?

Dense 与 MoE 最重要的差异之一,就是总参数量与激活参数量之间的关系。

1. Dense 模型的参数量

假设一个 Dense FFN 包含两层线性变换:

FFN(x)=W_2\sigma(W_1x)

其中:

  • 输入维度为 d。
  • 中间层维度为 d_{ff}。
  • W_1\in\mathbb{R}^{d_{ff}\times d}。
  • W_2\in\mathbb{R}^{d\times d_{ff}}。

忽略偏置参数,FFN 参数量为:

P_{FFN}=2dd_{ff}

每个 Token 经过这个 FFN 时,都会执行这两组线性变换。

因此,该 FFN 的全部权重都会参与计算。

2. MoE 模型的参数量

假设 MoE 包含 N 个结构相同的专家,每个专家都是一个 FFN。

那么:

P_{MoE}=N\cdot 2dd_{ff}+P_{Router}

Router 的参数量通常远小于全部专家参数量。

如果每个 Token 选择 K 个专家,那么专家部分的激活参数量为:

P_{Active}=K\cdot 2dd_{ff}

两者比例为:

\frac{P_{Active}}{P_{Experts}}=\frac{K}{N}

假设:

N=8,\quad K=2

则:

\frac{P_{Active}}{P_{Experts}}=25\%

这意味着每个 Token 只激活专家部分约 25% 的参数。

3. 一个具体例子

假设:

  • 隐藏维度:4096。
  • FFN 中间维度:14336。
  • 专家数量:8。
  • 每个 Token 激活 2 个专家。

单个专家参数量:

P_{Expert}=2\times4096\times14336
P_{Expert}\approx117.4M

8 个专家总参数量:

P_{Experts}=8\times117.4M
P_{Experts}\approx939.5M

每个 Token 激活的专家参数量:

P_{Active}=2\times117.4M
P_{Active}\approx234.9M

这里只计算专家 FFN 的权重,不包含 Router、Attention、Embedding、输出层、偏置和其他参数。

参数规模对比

全部专家参数 939.5M {#each Array.from({length:8},(_,i)=>i) as i}<box flex="1" background={i<8?"#83A995":"surface-tertiary"}/>{/each} 单个 Token 激活的专家参数 234.9M 2 / 8 个专家参与计算

这个例子体现了 MoE 的关键优势:

通过增加专家数量扩大模型容量,而不必让每个 Token 都计算全部专家。

但需要注意,完整模型还包括共享参数和其他计算模块,不能直接把上述比例当成整个模型的激活参数比例。


四、计算量的区别:参数少激活,不代表计算量按比例下降

理解 Dense 和 MoE,必须进一步区分参数量与计算量。

1. Dense 模型的计算

对于标准 Dense FFN,主要计算来自两次矩阵乘法。

单个 Token 的主要计算量近似为:

FLOPs_{Dense}\approx4dd_{ff}

这里按照一次乘法和一次加法计为两个 FLOPs。

实际计算量还会受到激活函数、偏置、门控结构和具体 FFN 实现影响。

2. MoE 模型的计算

假设有 N 个专家,每个 Token 激活 K 个专家。

那么专家 FFN 的主要计算量近似为:

FLOPs_{MoE}\approx4Kdd_{ff}

因此,相对于包含 N 个专家的全部 FFN 参数,单个 Token 的专家计算比例约为:

\frac{FLOPs_{MoE}}{FLOPs_{AllExperts}} \approx\frac{K}{N}

但这只是专家 FFN 部分的比较。

MoE 还需要额外执行:

  • Router 线性投影。
  • Softmax 和 Top-K 选择。
  • Token 分发。
  • 专家输出聚合。
  • 跨设备通信。

所以,实际计算成本不能只看专家 FFN 的 FLOPs。

3. Dense 与 MoE 的计算成本对比

计算模块 Dense MoE
Attention 正常计算 正常计算
FFN 完整 FFN 被选中的专家 FFN
Router 无 额外计算
Top-K 选择 无 额外计算
Token 分发 无专家分发 可能需要
输出聚合 无专家聚合 需要
跨设备通信 常规通信 可能增加 All-to-All

需要特别注意:

如果比较的是一个 Dense FFN 和一个包含多个完整 FFN 专家的 MoE 层,那么两者本身就可能拥有不同的参数规模。

因此,不能简单地说 MoE 的计算量一定比 Dense 少。

更准确的比较方式是:

  • 相同模型总参数量下比较激活计算量。
  • 相同激活参数量下比较模型容量。
  • 相同硬件资源下比较实际吞吐量与延迟。
  • 相同训练预算下比较模型最终效果。

五、显存的区别:MoE 为什么不一定更省显存?

这是 Dense 与 MoE 最容易被误解的地方。

MoE 激活参数较少,不代表模型只需要存储激活参数。

1. 推理阶段的权重显存

Dense 模型通常需要存储完整模型参数。

MoE 模型也需要能够访问全部专家参数,因为不同 Token 可能被路由到不同专家。

假设:

  • Dense 模型总参数量:70B。
  • MoE 模型总参数量:200B。
  • MoE 每个 Token 激活参数量:40B。

那么在全部专家常驻设备的部署方式下:

  • Dense 需要存储约 70B 参数的权重。
  • MoE 需要存储约 200B 参数的权重。

MoE 虽然每个 Token 只激活 40B 参数,但权重存储仍然需要覆盖全部专家。

实际部署可以通过专家并行,将权重分布到多个 GPU 上,但不会因此让整个集群需要存储的模型参数凭空减少。

2. 训练阶段的显存

训练显存不仅包括模型参数,还包括:

M_{Total}=M_{Param}+M_{Grad}+M_{Optimizer}+M_{Activation}+M_{Other}

其中:

  • M_{Param}:模型参数。
  • M_{Grad}:梯度。
  • M_{Optimizer}:优化器状态。
  • M_{Activation}:前向计算保存的激活值。
  • M_{Other}:通信缓冲区、临时张量等。

MoE 由于拥有更多专家参数,训练时还需要考虑所有专家参数对应的梯度和优化器状态。

当然,参数分片、混合精度、优化器状态卸载和激活检查点等技术,可以改变单卡实际显存需求。

3. 显存对比

维度 Dense MoE
权重存储 完整 Dense 参数 通常需要管理全部专家参数
激活值 与密集计算路径有关 与实际激活专家及路由有关
梯度 覆盖模型训练参数 覆盖全部参与训练的专家参数
优化器状态 与模型参数规模相关 与全部专家参数规模相关
通信缓存 常规通信 可能增加专家分发缓存
分布式部署 常规模型切分 常结合专家并行

结论:

MoE 的主要优势是控制单次计算中的专家激活规模,而不是天然减少整个模型的参数存储需求。


六、推理速度的区别:Dense 一定比 MoE 慢吗?

不能只根据参数量或激活参数量判断推理速度。

真正的推理性能取决于计算、内存访问、通信和调度等多个因素。

1. Dense 推理的特点

Dense 模型的计算路径比较规则:

  • 每层执行 Attention。
  • 每层执行完整 FFN。
  • 矩阵计算结构相对固定。
  • GPU 容易形成规则的批量矩阵运算。

这种结构有利于成熟的 GPU 算子优化和计算调度。

2. MoE 推理的特点

MoE 需要先执行路由,再将 Token 分配给不同专家。

如果专家分布在多个 GPU 上,还需要进行跨设备通信。

因此,MoE 的推理过程更复杂。

flowchart TB
    A["接收输入 Token"]
    B["Router 计算路由"]
    C["选择 Top-K 专家"]
    D["Token 按专家重新分组"]
    E["跨 GPU 分发"]
    F["专家执行计算"]
    G["专家输出回传"]
    H["恢复 Token 顺序并聚合"]
    I["进入下一层"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这些额外步骤可能抵消一部分稀疏计算带来的优势。

3. Prefill 与 Decode 的区别

大语言模型推理通常分为两个阶段。

Prefill 阶段

模型一次性处理 Prompt 中的大量 Token。

例如,一个输入包含 4096 个 Token,Router 需要为这些 Token 选择专家。

此时通常可以形成较大的专家计算批次,有利于矩阵计算和设备利用率。

Decode 阶段

模型逐步生成 Token。

每一步通常只生成一个或少量 Token。

这可能导致:

  • 专家收到的 Token 数量较少。
  • 专家矩阵计算批次较小。
  • GPU 计算利用率下降。
  • 通信和调度开销占比上升。

因此,同一个 MoE 模型在 Prefill 和 Decode 阶段的性能可能差异明显。

4. 推理速度取决于什么?

影响因素 Dense MoE
矩阵计算效率 通常较规则 取决于专家批次大小
GPU 利用率 相对容易优化 受路由分布影响
通信开销 常规并行通信 可能有较高专家通信开销
内存访问 相对连续 可能存在专家权重访问分散
Token 调度 相对简单 需要路由和重新分组
Decode 延迟 计算路径相对稳定 可能受到通信和小批次影响

所以:

  • Dense 不一定比 MoE 慢。
  • MoE 不一定比 Dense 快。
  • MoE 的激活参数量更少,也不代表实际延迟一定更低。

必须在具体硬件、模型配置、批量大小和推理框架下进行 Benchmark。


七、训练难度的区别:为什么 MoE 更复杂?

Dense 模型的训练目标通常是直接优化模型的预测损失。

MoE 除了优化模型本身,还需要优化专家路由和专家负载分配。

1. Dense 模型训练

以自回归语言模型为例:

L_{Dense}=-\sum_{t=1}^{T}\log P(x_t|x_{<t})

训练过程:

flowchart TB
    A["输入 Token"]
    B["Dense Transformer"]
    C["预测下一个 Token"]
    D["计算 Cross Entropy Loss"]
    E["反向传播"]
    F["优化器更新参数"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

2. MoE 模型训练

MoE 同样需要优化语言模型预测损失,但还需要处理:

  • Router 参数训练。
  • 专家参数训练。
  • 专家负载均衡。
  • 专家容量限制。
  • Token 分发与聚合。
  • 跨设备梯度同步。

一种常见的训练目标可以写成:

L_{Total}=L_{LM}+\lambda L_{aux}

其中:

  • L_{LM}:语言模型主任务损失。
  • L_{aux}:辅助负载均衡损失。
  • \lambda:辅助损失权重。

不同 MoE 架构可能采用不同的负载均衡机制,不一定都使用传统 Auxiliary Loss。