一、什么是模型蒸馏
模型蒸馏(Knowledge Distillation,KD)是一种模型压缩与知识迁移技术。它通过较大、能力较强的教师模型(Teacher Model)指导较小的学生模型(Student Model)训练,使学生模型在参数量、显存占用和推理成本显著降低的情况下,尽可能保留教师模型的能力。
传统监督学习主要依赖人工标注的真实标签,而模型蒸馏还可以利用教师模型输出的概率分布、中间层特征、推理过程和生成结果作为额外监督信号。
例如:
- 教师模型:70B 参数的大语言模型。
- 学生模型:7B 参数的小型语言模型。
- 训练数据:原始语料、教师模型生成的回答、推理样本。
- 训练目标:让 7B 模型学习 70B 模型的输出行为和部分知识能力。
蒸馏并不是简单地把大模型的参数缩小,而是让一个独立的小模型通过训练学习大模型所掌握的知识和行为模式。
1.1 为什么需要模型蒸馏
大模型能力强,但部署成本也高。
| 对比维度 | 大模型 | 小模型 |
|---|---|---|
| 参数规模 | 数十亿至数千亿 | 数亿至数十亿 |
| 显存需求 | 高 | 低 |
| 推理延迟 | 相对较高 | 通常较低 |
| 部署成本 | 高 | 低 |
| 并发能力 | 受显存和算力限制 | 相同硬件下通常更容易扩展 |
| 知识覆盖 | 通常更广 | 取决于训练数据和模型能力 |
| 复杂推理 | 通常更强 | 可能存在能力损失 |
| 端侧部署 | 受硬件限制 | 更容易实现 |
模型蒸馏主要解决以下问题:
- 降低部署成本:减少 GPU 显存、计算资源和推理费用。
- 降低响应延迟:小模型通常具有更少的计算量和更短的推理路径。
- 提高部署灵活性:可以部署在单张 GPU、边缘设备或本地服务器。
- 降低服务压力:在相同资源条件下支持更多请求。
- 实现领域专用化:让小模型专注于客服、分类、抽取、代码辅助等特定任务。
需要注意,模型参数减少不意味着所有场景下推理速度都一定同比提升。实际性能还受到模型结构、内存带宽、算子实现、批处理策略和硬件利用率影响。
二、模型蒸馏的基本原理
2.1 教师模型与学生模型
模型蒸馏通常包含两个核心角色。
教师模型(Teacher Model)
- 通常规模较大,能力较强。
- 提供软标签、生成样本或中间层知识。
- 训练阶段一般保持参数冻结。
- 可以是通用大模型,也可以是领域专家模型。
学生模型(Student Model)
- 通常规模较小。
- 接收教师模型提供的监督信号。
- 通过反向传播更新参数。
- 最终独立完成推理任务。
整体流程:
flowchart TD
A["训练数据"] --> B["教师模型 Teacher"]
B --> C["生成知识监督信号"]
A --> D["学生模型 Student"]
C --> E["蒸馏损失计算"]
D --> E
E --> F["反向传播更新学生模型"]
F --> G["学生模型评估"]
G --> H{"是否达到目标"}
H -->|否| F
H -->|是| I["导出学生模型"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2.2 硬标签与软标签
理解硬标签和软标签,是理解知识蒸馏的关键。
硬标签(Hard Label)
硬标签是数据集中直接提供的真实类别或目标结果。
例如,输入一段文本:
这部电影非常精彩,演员表现出色。
分类任务的硬标签可能是:
正面情绪:1
负面情绪:0
它只告诉模型正确答案是什么,不包含其他类别之间的相似程度。
软标签(Soft Label)
软标签是教师模型输出的概率分布。
例如:
| 类别 | 教师模型概率 |
|---|---|
| 正面 | 0.82 |
| 中性 | 0.15 |
| 负面 | 0.03 |
软标签包含更多信息。
例如,教师模型不仅判断文本是正面情绪,还表达了它与中性情绪存在一定相似性。
这种类别之间的关系,也被称为暗知识(Dark Knowledge)。
学生模型学习软标签时,可以获得比单纯学习硬标签更丰富的监督信息。
2.3 为什么软标签更有价值
假设一个图像分类任务包含猫、狗、狼三个类别。
硬标签只告诉学生模型:
正确类别:猫
而教师模型可能输出:
猫:0.85
狗:0.10
狼:0.05
这个概率分布还表达了:
- 猫与狗存在一定外观相似性。
- 猫与狼的相似性相对较低。
- 教师模型对正确类别具有较高置信度。
学生模型不仅学习正确答案,还能学习教师模型对不同类别的判断关系。
对于大语言模型,软标签可以对应词表中每个 Token 的预测概率分布,使学生模型学习教师模型的语言预测行为。
三、温度系数与概率分布
知识蒸馏通常使用温度系数(Temperature)调整教师模型输出的概率分布。
3.1 Softmax 温度公式
普通 Softmax:
引入温度系数后:
其中:
- z_i:模型输出的 Logit。
- T:温度系数。
- p_i^{(T)}:温度调整后的概率。
温度系数决定概率分布的平滑程度。
3.2 不同温度的影响
| 温度 T | 概率分布 | 主要作用 |
|---|---|---|
| T = 1 | 原始分布 | 保持模型正常预测 |
| T > 1 | 更平滑 | 暴露更多类别之间的关系 |
| T 趋近于 0 | 更尖锐 | 更接近最大概率类别 |
| T 较大 | 过度平滑风险 | 可能削弱有效类别差异 |
例如,教师模型原始输出:
猫:0.90
狗:0.08
狼:0.02
提高温度后,概率分布可能变为:
猫:0.65
狗:0.25
狼:0.10
学生模型因此能够学习到更多非最大概率类别的信息。
需要注意,温度越高不意味着蒸馏效果越好。温度过高可能导致概率分布过于平坦,丢失教师模型的重要判断信息。
3.3 温度系数为什么影响蒸馏损失
蒸馏通常使用教师模型和学生模型的软概率分布计算 KL 散度。
其中:
- P_T^{(T)}:教师模型的温度概率分布。
- P_S^{(T)}:学生模型的温度概率分布。
- D_{KL}:KL 散度。
- T^2:温度补偿系数。
引入 T^2 是为了补偿温度变化对梯度尺度造成的影响,使不同温度下的蒸馏损失具有更合理的梯度量级。
实际训练中,温度、损失权重和学习率通常需要联合调节。
四、模型蒸馏的主要方法
模型蒸馏并不只有一种实现方式。根据迁移知识的类型,可以分为多种方法。
4.1 基于响应的蒸馏(Response-Based Distillation)
这是最经典的蒸馏方式。
学生模型直接学习教师模型的输出结果,包括:
- 分类概率。
- Token 概率分布。
- Logits。
- 文本生成结果。
- 任务预测结果。
对于分类模型,通常使用教师模型和学生模型的概率分布计算 KL 散度。
对于大语言模型,可以让学生模型学习教师模型对每个位置的 Token 分布。
优点:
- 实现简单。
- 不要求教师模型和学生模型内部结构一致。
- 适合异构模型蒸馏。
缺点:
- 主要迁移输出行为。
- 无法直接利用教师模型内部特征。
- 如果只有最终文本答案,监督信息可能不够丰富。
4.2 基于特征的蒸馏(Feature-Based Distillation)
基于特征的蒸馏让学生模型学习教师模型中间层的隐藏表示。
Transformer 模型每一层都会产生隐藏状态:
其中:
- B:Batch Size。
- S:序列长度。
- d:隐藏层维度。
- l:Transformer 层编号。
可以通过中间层特征损失,让学生模型的隐藏表示接近教师模型。
例如:
其中:
- H_l^S:学生模型第 l 层隐藏状态。
- H_{\phi(l)}^T:教师模型对应层隐藏状态。
- W_l:特征维度对齐映射。
- \phi(l):教师层与学生层之间的映射关系。
如果教师和学生隐藏维度不同,可以使用线性投影层进行维度对齐。
优点:
- 能迁移中间层表示能力。
- 可以学习教师模型的特征组织方式。
- 适合结构相近的模型。
缺点:
- 需要访问教师模型内部隐藏状态。
- 需要处理不同层数和隐藏维度。
- 训练显存与计算开销更高。
4.3 基于关系的蒸馏(Relation-Based Distillation)
关系蒸馏不直接要求学生模型复现教师模型的某一层特征,而是学习样本之间或 Token 之间的关系。
例如:
- 样本之间的相似度。
- Token 之间的注意力关系。
- 不同特征向量之间的距离。
- 不同类别之间的关联。
假设教师模型和学生模型分别得到特征向量 h_i,可以计算样本之间的相似度:
然后让学生模型学习教师模型的关系矩阵。
这种方式适合不同模型结构之间的知识迁移,因为不一定需要逐层对应。
4.4 基于生成数据的蒸馏(Generation-Based Distillation)
在大语言模型中,生成式蒸馏非常重要。
教师模型根据任务指令生成高质量训练数据,学生模型再通过监督微调学习这些数据。
例如:
输入:
解释什么是 RAG。
教师模型输出:
RAG 是一种检索增强生成技术,它通过外部知识检索为语言模型提供上下文信息,从而提高回答的准确性和知识时效性。
将教师模型的输入与输出组成训练样本:
{
"instruction": "解释什么是 RAG",
"output": "RAG 是一种检索增强生成技术,它通过外部知识检索为语言模型提供上下文信息,从而提高回答的准确性和知识时效性。"
}
然后使用这些样本训练学生模型。
这种方法也常被称为合成数据蒸馏。
它特别适合:
- 指令跟随。
- 对话能力迁移。
- 领域问答。
- 代码生成。
- 结构化信息抽取。
- 推理能力训练。
需要注意:生成式蒸馏通常学习教师模型的输出行为,并不等价于完整迁移教师模型的内部知识分布。
4.5 多阶段蒸馏
实际项目中可以组合多种蒸馏方式。
例如:
- 使用教师模型生成高质量指令数据。
- 通过监督微调让学生模型学习输出行为。
- 使用 Logits 蒸馏学习教师模型的概率分布。
- 使用特征蒸馏进一步对齐中间层表示。
- 使用偏好数据优化回答质量。
不同方法可以组合,但需要评估额外计算成本是否值得。
五、大语言模型蒸馏的核心技术
大语言模型的蒸馏与传统分类模型存在明显区别。
传统分类模型的输出空间通常只有几十或几百个类别,而大语言模型的输出空间是一个规模庞大的 Token 词表,并且需要在长序列上进行自回归预测。
5.1 Logits 蒸馏
Logits 是模型在 Softmax 之前输出的原始分数。
假设词表大小为 V,序列长度为 S,教师模型输出:
学生模型输出:
对两个模型的 Logits 使用相同温度进行 Softmax,得到概率分布,再计算 KL 散度。
工程中通常需要对 Padding Token 和无效位置进行 Mask,避免它们参与损失计算。
Logits 蒸馏的优势:
- 能学习教师模型的 Token 预测分布。
- 比只学习最终生成文本提供更多监督信息。
- 适合模型结构和 Tokenizer 兼容的场景。
主要限制:
- 教师模型和学生模型的词表需要对齐。
- 存储完整词表 Logits 会占用大量显存。
- 教师模型前向计算成本较高。
- 不同 Tokenizer 之间不能直接逐位置比较完整 Logits。
例如,假设词表大小为 128000,序列长度为 4096,单个样本的完整 FP16 Logits 大约需要:
这还没有计算 Batch 维度和训练过程中的其他张量。
因此,工程上可以采用:
- 在线计算教师 Logits。
- 分块计算蒸馏损失。
- 只保存 Top-K Token 的概率和索引。
- 使用更小的训练序列。
- 通过缓存和数据流水线控制内存占用。
Top-K Logits 蒸馏可以减少数据量,但如果没有处理剩余概率质量,学生模型学习到的就不再是完整的教师分布。
5.2 Sequence-Level 蒸馏
Sequence-Level Distillation 不直接学习教师模型每个位置的完整概率分布,而是学习教师模型生成的完整序列。
例如:
输入问题:
什么是 Transformer?
教师模型:
Transformer 是一种基于注意力机制的神经网络架构,
能够通过自注意力机制建模序列中不同位置之间的关系。
学生模型:
使用教师生成的答案作为目标序列进行训练。
学生模型通过交叉熵损失学习教师生成的 Token 序列:
其中:
- x:输入。
- y_t:教师生成的目标 Token。
- y_{<t}:此前的目标 Token。
Sequence-Level 蒸馏的优势:
- 不需要存储完整 Logits。
- 可以使用不同规模的模型。
- 更容易结合指令数据构建训练集。
- 适合大规模数据生成和监督微调。
但学生模型只能学习教师提供的目标序列,无法直接获得教师模型在其他候选 Token 上的概率信息。
5.3 Chain-of-Thought 蒸馏
Chain-of-Thought(CoT)蒸馏通过教师模型生成的推理过程,帮助学生模型学习多步骤问题解决能力。
例如:
问题:
一个商品原价 200 元,打八折后再减 20 元,最终价格是多少?
教师模型推理:
第一步:计算八折价格,200 × 0.8 = 160。
第二步:再减去 20 元,160 - 20 = 140。
最终答案:140 元。
学生模型学习的不只是最终答案,还包括中间步骤的组织方式。
不过,推理文本并不一定等于模型真实的内部计算过程。CoT 蒸馏迁移的是教师模型提供的推理表达和问题解决模式。
使用时需要特别注意:
- 推理数据应具有可验证性。
- 数学和代码任务应尽可能进行程序验证。
- 不应把教师模型生成的所有推理文本都视为正确。
- 应避免学生模型只学习冗长表达,却没有提升实际问题解决能力。
5.4 指令蒸馏
指令蒸馏主要让学生模型学习教师模型的指令跟随能力。
训练样本通常包含:
- System Prompt。
- User Instruction。
- Context。
- Assistant Response。
例如:
{
"instruction": "将以下文本总结为三个要点",
"input": "这里是一段较长的技术文章……",
"output": "1. 核心概念……\n2. 关键技术……\n3. 应用场景……"
}
训练时需要统一对话模板,并正确设置 Loss Mask。
通常只对 Assistant 目标回答计算损失,不对用户输入和无须学习的模板部分计算损失。
六、蒸馏损失函数设计
实际训练中,通常不只使用一种损失函数。
6.1 交叉熵损失
交叉熵损失用于让学生模型学习目标标签或教师生成的目标序列。
其中:
- y_i:目标标签分布。
- p_i^S:学生模型预测概率。
如果目标是硬标签,y_i 通常是 One-Hot 分布。
6.2 KL 散度损失
KL 散度衡量两个概率分布之间的差异。
蒸馏中一般使用:
需要注意 KL 散度具有方向性:
通常让教师模型的分布作为目标分布,学生模型的分布作为待优化分布。
6.3 特征损失
用于让学生模型中间层的特征接近教师模型。
常见方法包括:
- Mean Squared Error。
- Cosine Similarity Loss。
- Attention Map Loss。
- Hidden State Alignment。
例如,均方误差:
6.4 综合蒸馏损失
在多种监督方式组合时,可以构建综合损失:
其中:
- L_{CE}:目标序列监督损失。
- L_{KD}:Logits 蒸馏损失。
- L_{feature}:中间层特征损失。
- L_{relation}:关系蒸馏损失。
- \alpha,\beta,\gamma,\delta:各项损失权重。
并不是损失项越多越好。
实际项目应该从简单方案开始,例如先使用交叉熵进行指令微调,再加入 Logits 蒸馏,最后根据效果决定是否引入特征蒸馏。
七、蒸馏数据集的构建
在大语言模型蒸馏中,数据质量往往比单纯扩大数据量更重要。
7.1 数据生成流程
flowchart TD
A["原始数据与任务需求"] --> B["任务分类与数据采样"]
B --> C["构造教师模型 Prompt"]
C --> D["教师模型生成回答"]
D --> E["质量检查"]
E --> F{"样本是否合格"}
F -->|否| G["丢弃或重新生成"]
G --> C
F -->|是| H["去重与格式标准化"]
H --> I["数据集切分"]
I --> J["蒸馏训练"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
7.2 数据类型设计
建议构建多类型训练数据,而不是只让教师模型生成普通问答。
| 数据类型 | 训练目标 | 示例 |
|---|---|---|
| 基础知识 | 知识表达 | 概念解释 |
| 指令跟随 | 理解任务要求 | 摘要、改写 |
| 多轮对话 | 上下文管理 | 连续追问 |
| 推理数据 | 多步骤问题解决 | 数学、逻辑 |
| 代码数据 | 代码生成与理解 | 编程任务 |
| 结构化数据 | 格式遵循 | JSON 输出 |
| 领域数据 | 专业知识迁移 | 金融、法律、医疗 |
| 拒绝数据 | 安全行为 | 不适当请求处理 |
7.3 数据质量检查
教师模型也可能生成错误内容,因此不能直接把所有输出都加入训练集。
建议建立以下质量检查:
- 格式检查:JSON、Markdown、代码等格式是否正确。
- 事实检查:回答是否存在明显错误。
- 逻辑检查:推理过程是否自洽。
- 重复检查:过滤高度相似的训练样本。
- 长度检查:过滤过短、过长或异常截断的样本。
- 安全检查:过滤不合规或有害训练内容。
- 任务覆盖检查:避免训练数据过度集中于某一类任务。
对于代码、数学和结构化输出任务,优先使用可执行验证器或规则验证,而不是完全依赖另一个模型判断。
7.4 数据污染问题
如果训练集和测试集存在大量重复样本,评估结果就可能失真。
因此,需要:
- 在训练前进行数据去重。
- 对训练集和验证集进行相似度检测。
- 保留独立测试集。
- 避免将测试问题直接用于教师数据生成。
- 使用真实业务场景构建额外测试集。
八、教师模型与学生模型的选择
蒸馏效果不仅取决于教师模型能力,也取决于学生模型是否适合目标任务。
8.1 教师模型选择
教师模型需要重点考虑:
- 任务能力是否足够强。
- 输出质量是否稳定。
- 是否支持获取 Logits。
- 是否可以访问中间层特征。
- Tokenizer 是否与学生模型兼容。
- 许可协议是否允许相关训练和部署。
如果只是生成式数据蒸馏,教师模型不一定需要开放内部权重,但需要具备稳定的文本生成能力。
如果要做 Logits 蒸馏或特征蒸馏,通常需要能够访问模型的相应输出。
8.2 学生模型选择
学生模型主要考虑:
- 参数规模。
- Transformer 架构。
- 隐藏层维度。
- Attention Head 数量。
- 上下文长度。
- Tokenizer。
- 推理框架支持情况。
- 目标硬件的算子兼容性。
学生模型不一定要与教师模型结构完全一致。
但是,结构差异越大,直接对齐中间层特征通常越困难。
8.3 教师模型与学生模型对比
| 组合方式 | 特点 | 适用场景 |
|---|---|---|
| 同架构不同规模 | 特征容易对齐 | 经典蒸馏 |
| 不同架构 | 灵活性高 | 异构模型迁移 |
| 同 Tokenizer | Logits 对齐方便 | 概率蒸馏 |
| 不同 Tokenizer | 需要额外对齐 | 文本生成蒸馏 |
| 多教师模型 | 可以融合多种能力 | 多任务蒸馏 |
九、模型蒸馏的完整训练流程
一个实际的大语言模型蒸馏项目通常包括以下阶段:
- 明确部署目标和能力指标。
- 选择教师模型和学生模型。
- 构建领域数据和指令数据。
- 使用教师模型生成监督样本。
- 清洗、去重、验证数据。
- 对学生模型进行监督微调。
- 根据条件加入 Logits 或特征蒸馏。
- 在独立测试集上评估。
- 对学生模型进行量化和部署优化。
- 使用真实业务流量进行压测。
训练流程:
flowchart TD
A["明确任务与部署目标"] --> B["选择 Teacher 与 Student"]
B --> C["构建蒸馏数据集"]
C --> D["教师模型生成监督数据"]
D --> E["数据清洗与质量验证"]
E --> F["学生模型初始化"]
F --> G["监督微调 SFT"]
G --> H["Logits 或特征蒸馏"]
H --> I["验证集评估"]
I --> J{"质量是否达标"}
J -->|否| K["分析错误与调整数据、参数"]
K --> G
J -->|是| L["模型导出"]
L --> M["量化与推理优化"]
M --> N["部署与线上评估"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F
十、使用 PyTorch 实现基础知识蒸馏
下面通过一个分类任务理解蒸馏的核心实现。
10.1 教师模型与学生模型
import torch
import torch.nn as nn
import torch.nn.functional as F
class TeacherModel(nn.Module):
def __init__(self, input_dim=128, hidden_dim=512, num_classes=10):
super().__init__()
self.network = nn.Sequential(
nn.Linear(input_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, num_classes)
)
def forward(self, x):
return self.network(x)
class StudentModel(nn.Module):
def __init__(self, input_dim=128, hidden_dim=64, num_classes=10):
super().__init__()
self.network = nn.Sequential(
nn.Linear(input_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, num_classes)
)
def forward(self, x):
return self.network(x)
教师模型拥有更大的隐藏层和更多参数,学生模型结构更小。
10.2 蒸馏损失函数
def distillation_loss(
student_logits,
teacher_logits,
labels,
temperature=4.0,
alpha=0.7
):
# 学生模型的硬标签损失
hard_loss = F.cross_entropy(
student_logits,
labels
)
# 教师模型的软标签分布
teacher_probs = F.softmax(
teacher_logits / temperature,
dim=-1
)
# 学生模型的软预测分布
student_log_probs = F.log_softmax(
student_logits / temperature,
dim=-1
)
# KL 蒸馏损失
soft_loss = F.kl_div(
student_log_probs,
teacher_probs,
reduction="batchmean"
) * (temperature ** 2)
return alpha * soft_loss + (1 - alpha) * hard_loss
这里:
temperature=4.0:提高概率分布的平滑程度。alpha=0.7:蒸馏损失的权重。1-alpha:真实标签损失的权重。
10.3 训练学生模型
teacher = TeacherModel()
student = StudentModel()
# 假设教师模型已经完成训练
teacher.eval()
for param in teacher.parameters():
param.requires_grad = False
optimizer = torch.optim.AdamW(
student.parameters(),
lr=1e-3
)
for epoch in range(10):
student.train()
for inputs, labels in train_loader:
with torch.no_grad():
teacher_logits = teacher(inputs)
student_logits = student(inputs)
loss = distillation_loss(
student_logits,
teacher_logits,
labels,
temperature=4.0,
alpha=0.7
)
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f"Epoch {epoch + 1}, Loss: {loss.item():.4f}")
这个示例展示了经典蒸馏过程:
- 教师模型不更新参数。
- 学生模型正常执行前向传播。
- 教师输出软标签。
- 学生同时学习软标签和真实标签。
- 通过反向传播更新学生模型。
实际项目中还需要处理数据设备、混合精度、梯度累积、验证集和模型保存等问题。
十一、大语言模型蒸馏的工程实践
11.1 基于教师生成数据的 SFT
这是实际项目中比较容易落地的蒸馏方式。
假设已经准备好教师生成的数据:
{
"messages": [
{
"role": "system",
"content": "你是一个专业的技术助手。"
},
{
"role": "user",
"content": "解释什么是 KV Cache。"
},
{
"role": "assistant",
"content": "KV Cache 是一种用于缓存 Transformer 注意力机制中 Key 和 Value 张量的技术,可以避免自回归生成时重复计算历史 Token 的键值表示。"
}
]
}
将这些样本用于学生模型的监督微调。
训练时需要正确处理:
- Chat Template。
- Tokenizer。
- EOS Token。
- Padding。
- Attention Mask。
- Assistant Loss Mask。
- 最大序列长度。
如果训练数据没有正确设置 Assistant Loss Mask,模型可能会把用户输入、System Prompt 或填充 Token 也作为预测目标,影响训练效果。
11.2 使用 Hugging Face Transformers 进行训练
下面是一个简化的 SFT 训练示例,使用模型和数据集的实际路径替换占位符。