一、为什么需要优化大模型?
大语言模型通常具有庞大的参数规模。随着模型规模增长,训练、推理和部署面临越来越高的资源要求。
主要挑战包括:
- 模型能力与业务需求之间的差距:通用模型不一定熟悉特定行业知识、业务规则和任务格式。
- 训练成本高:全量更新数十亿甚至数千亿参数,需要大量计算资源。
- 推理成本高:模型参数、激活值和 KV Cache 都会占用显存,推理还受到计算能力与内存带宽限制。
- 部署环境受限:边缘设备、私有服务器和移动终端可能无法运行原始规模的模型。
- 响应延迟与吞吐量要求:生产系统通常需要在模型效果、延迟、并发能力和成本之间取得平衡。
围绕这些问题,形成了三种重要的模型优化技术:
| 技术 | 核心目标 | 主要改变对象 | 典型收益 |
|---|---|---|---|
| 微调 Fine-Tuning | 让模型适应特定任务 | 模型参数或适配参数 | 提升任务适应性 |
| 蒸馏 Knowledge Distillation | 将教师模型能力迁移给学生模型 | 学生模型的训练目标与参数 | 获得更小、更易部署的模型 |
| 量化 Quantization | 降低数值表示精度 | 权重、激活值、缓存等数值表示 | 减少显存、存储和部分计算成本 |
三者并不是相互替代的关系。
- 微调解决模型如何适应特定任务。
- 蒸馏解决如何将已有模型的能力迁移到另一个模型。
- 量化解决如何以更低的数值精度存储和执行模型。
二、大模型微调:Fine-Tuning
2.1 什么是微调?
微调是指在预训练模型的基础上,使用特定任务或领域的数据继续训练,使模型的参数适应新的任务需求。
预训练阶段,模型通过海量数据学习通用语言能力、知识关联和模式表示。
微调阶段,模型继续学习特定的数据分布、任务要求和输出方式。
例如:
- 通用模型:能够回答各种领域的问题。
- 法律领域模型:更熟悉法律术语、法律文书和相关任务格式。
- 代码模型:更擅长代码生成、代码补全和程序分析。
- 企业内部模型:更符合企业的业务流程和输出规范。
微调并不是从零开始训练模型,而是利用已有模型参数作为初始化。
2.2 微调的基本原理
假设预训练模型参数为:
微调使用特定数据集:
其中:
- x_i:输入数据,例如指令或问题。
- y_i:目标输出,例如回答或标签。
- N:训练样本数量。
微调的目标是最小化训练数据上的损失:
其中:
- f_\theta:参数为 \theta 的模型。
- L:损失函数。
- \theta^\*:微调后得到的参数。
对于自回归语言模型,常见目标仍然是 Next Token Prediction:
模型根据上下文预测目标序列中的下一个 Token,通过损失函数计算预测结果与训练目标之间的差异,再通过反向传播更新参数。
需要注意:不同微调任务的数据格式、监督信号和损失设计可能不同,但核心思想都是利用新的训练目标调整模型行为。
2.3 微调的完整流程
flowchart TB
A["选择预训练模型"] --> B["准备领域或任务数据"]
B --> C["数据清洗与质量检查"]
C --> D["构造训练样本"]
D --> E["配置微调策略"]
E --> F["模型前向传播"]
F --> G["计算训练损失"]
G --> H["反向传播"]
H --> I["更新可训练参数"]
I --> J{"是否达到训练条件"}
J -->|"否"| F
J -->|"是"| K["保存微调模型"]
K --> L["验证与评估"]
L --> M["部署与持续监控"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
2.4 全量微调:Full Fine-Tuning
全量微调是指训练过程中更新模型的全部或几乎全部可训练参数。
对于一个参数规模为 7B 的模型:
意味着约有 70 亿个参数需要参与训练。
其基本过程是:
- 加载预训练模型。
- 输入训练样本。
- 执行前向传播。
- 计算预测损失。
- 反向传播计算梯度。
- 优化器更新模型参数。
参数更新可以抽象为:
其中:
- \eta:学习率。
- \nabla_\theta L:损失函数对模型参数的梯度。
优点:
- 模型参数可以充分适应新任务。
- 可以调整模型不同层的表示能力。
- 适合数据量充足、任务差异较大且资源充足的场景。
缺点:
- 训练显存开销大。
- 计算成本高。
- 训练和保存完整模型的成本较高。
- 数据质量不佳时,容易出现过拟合或灾难性遗忘。
全量微调并不意味着一定优于参数高效微调。实际效果取决于数据质量、任务特点、模型规模和训练配置。
2.5 参数高效微调:PEFT
参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)是一类降低微调成本的方法。
它的核心思想是:
尽可能冻结预训练模型的大部分参数,只训练少量新增参数或选定参数。
常见方法包括:
| 方法 | 核心思想 | 主要特点 |
|---|---|---|
| LoRA | 使用低秩矩阵表示权重更新 | 参数少,应用广泛 |
| QLoRA | 冻结量化后的基础模型,通过 LoRA 训练 | 降低微调显存需求 |
| Adapter | 在网络层中加入小型适配模块 | 可针对不同任务保存适配器 |
| Prefix Tuning | 学习可训练的连续前缀表示 | 不直接更新主体模型 |
| Prompt Tuning | 学习软提示向量 | 训练参数量较少 |
| BitFit | 只更新偏置参数 | 实现简单,但适用范围有限 |
LoRA 的核心原理
LoRA(Low-Rank Adaptation)的基本思想是:不直接更新原始权重矩阵,而是通过两个低秩矩阵近似表示权重变化。
假设原始权重矩阵为:
全量微调需要学习一个完整的权重更新矩阵:
LoRA 将其分解为:
其中:
并且:
最终权重为:
其中:
- W_0:冻结的预训练权重。
- A、B:需要训练的低秩矩阵。
- r:低秩矩阵的秩。
- \alpha:缩放系数。
原本需要学习 d\times k 个参数,现在只需要学习:
当 r 远小于矩阵维度时,训练参数量可以显著减少。
LoRA 的重要价值是将任务适配能力从庞大的基础模型参数中分离出来。
一个基础模型可以搭配多个 LoRA Adapter,针对不同业务加载不同的适配参数。
需要注意,LoRA 并不是所有模型层都必须使用,也不是秩越大效果越好。具体效果取决于目标模块、秩、缩放系数、训练数据和任务特点。
2.6 微调的关键问题
数据质量比数据数量更重要。
大量重复、错误或相互冲突的数据,可能让模型学到错误模式。
微调过程中还需要关注:
- 数据去重,避免重复样本造成训练分布偏移。
- 训练集、验证集和测试集隔离,避免数据泄漏。
- 合理设置学习率,避免破坏预训练能力。
- 通过验证集观察过拟合。
- 控制领域数据与通用数据的比例,减少灾难性遗忘。
- 对多轮对话数据正确设置角色、结束标记和损失掩码。
尤其是指令微调,通常只对需要模型生成的 Assistant 部分计算损失,而不是将所有输入文本都作为预测目标。这种处理通常称为 Label Masking。
三、大模型蒸馏:Knowledge Distillation
3.1 什么是模型蒸馏?
模型蒸馏是一种知识迁移技术。
它通过一个能力较强的教师模型(Teacher Model),指导一个学生模型(Student Model)学习,使学生模型在规模更小、计算资源更少的情况下,尽可能获得教师模型的能力。
例如:
- 教师模型:参数规模较大的高性能模型。
- 学生模型:参数规模较小、推理成本较低的模型。
蒸馏的目标不是简单地复制教师模型的参数,而是让学生模型学习教师模型提供的监督信息。
微调与蒸馏最大的区别:
- 微调:使用任务数据调整模型。
- 蒸馏:使用教师模型产生的知识或监督信号训练学生模型。
蒸馏通常也需要训练过程,因此学生模型的参数会被更新。从这个角度看,蒸馏可以使用微调式的优化方法,但它的监督信号来源和训练目标更加特殊。
3.2 教师模型与学生模型
蒸馏通常涉及两个模型:
教师模型(Teacher Model)
- 通常具有更大的参数规模或更强的任务能力。
- 为训练样本提供预测结果、概率分布、隐藏表示或推理示例。
- 提供学生模型需要学习的监督信号。
学生模型(Student Model)
- 通常规模更小。
- 学习教师模型提供的知识。
- 目标是在较低计算成本下获得尽可能好的性能。
需要注意,教师模型不一定必须比学生模型参数更多。蒸馏的核心是知识迁移关系,而不是严格的参数规模排序。
3.3 蒸馏的基本原理
假设教师模型输出 Logits:
学生模型输出 Logits:
通过 Softmax 和温度参数 T,可以将 Logits 转换为软概率分布:
其中:
- p_t^{(T)}:教师模型的软概率分布。
- p_s^{(T)}:学生模型的软概率分布。
- T:蒸馏温度。
当 T 增大时,概率分布通常会变得更加平滑,低概率类别之间的相对关系也更容易体现出来。
例如,教师模型对三个类别的预测可能是:
| 类别 | 普通概率分布 | 较高温度下的软分布 |
|---|---|---|
| A | 0.90 | 0.65 |
| B | 0.08 | 0.25 |
| C | 0.02 | 0.10 |
软标签不仅告诉学生模型正确答案是什么,还包含教师模型对其他候选类别的相对判断。
这也是蒸馏区别于只使用硬标签训练的重要特点。
3.4 KL 散度:让学生模型模仿教师模型
常见的蒸馏损失是 KL 散度:
展开后:
KL 散度衡量两个概率分布之间的差异。
当学生模型的预测分布逐渐接近教师模型时,蒸馏损失就会下降。
由于温度会改变概率分布的平滑程度,常见实现会将蒸馏损失乘以 T^2,以调整不同温度下梯度的尺度:
3.5 蒸馏损失与真实标签损失
实际训练中,通常不会只让学生模型模仿教师模型。
因为教师模型也可能犯错。如果学生模型完全复制教师模型的输出,就可能继承教师模型的错误。
因此,常见方法是结合真实标签损失和蒸馏损失:
其中:
- L_{KD}:教师模型与学生模型之间的蒸馏损失。
- L_{CE}:学生模型与真实标签之间的交叉熵损失。
- \lambda:两种训练目标的权重。
这种组合让学生模型同时学习教师模型的行为和真实任务标签。
对于语言模型,还可以使用教师模型生成的回答、Token 级概率分布或中间表示作为监督信号,具体损失形式取决于蒸馏方案。
3.6 蒸馏的主要类型
| 蒸馏类型 | 迁移内容 | 核心思想 |
|---|---|---|
| 响应蒸馏 | 模型生成的文本 | 学习教师模型的回答方式 |
| Logits 蒸馏 | 输出层 Logits | 学习教师模型的输出分布 |
| 特征蒸馏 | 中间层隐藏表示 | 学习教师模型的内部表示 |
| Attention 蒸馏 | 注意力权重或相关结构 | 学习教师模型的注意力模式 |
| 数据蒸馏 | 教师模型生成的训练数据 | 利用教师模型构造训练样本 |
| 推理过程蒸馏 | 推理示例或中间推理步骤 | 学习教师模型展示出的解题过程 |
这些类型并不互斥,一个蒸馏方案可以组合多种监督信号。
特别需要注意:模型输出的推理过程不一定完整反映模型内部真实计算过程。推理过程蒸馏迁移的是教师模型生成的推理示例,而不能简单理解为直接复制其内部推理机制。
3.7 大模型蒸馏的流程
flowchart TB
A["准备教师模型"] --> B["准备蒸馏数据"]
B --> C["教师模型生成监督信号"]
C --> D["生成软标签或示例回答"]
D --> E["准备学生模型"]
E --> F["学生模型前向计算"]
F --> G["计算蒸馏损失"]
G --> H["结合真实标签损失"]
H --> I["反向传播更新学生模型"]
I --> J{"是否达到训练条件"}
J -->|"否"| F
J -->|"是"| K["保存学生模型"]
K --> L["独立评估模型能力"]
L --> M["部署学生模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
3.8 大模型蒸馏的特殊挑战
传统分类模型的输出类别数量通常有限,而大语言模型的输出词表可能达到数万甚至更多。
对于自回归语言模型,教师模型和学生模型可能具有不同的:
- Tokenizer。
- 词表大小。
- 网络结构。
- 隐藏层维度。
- Attention Head 数量。
- 上下文窗口。
这意味着不能总是直接比较两个模型的 Logits 或隐藏层向量。
例如,教师模型的第 1000 个 Token ID 与学生模型的第 1000 个 Token ID,可能代表完全不同的 Token。
如果两者词表不同,通常需要采用文本级响应蒸馏、统一 Token 空间、对齐表示空间等方案,而不能直接套用相同索引的 Logits 蒸馏。
此外,蒸馏还面临:
- 教师模型错误传播:学生模型可能学习教师模型的错误答案。
- 能力压缩损失:学生模型容量有限,难以完整吸收教师模型的知识。
- 数据覆盖不足:蒸馏数据无法覆盖教师模型全部能力。
- 分布偏移:学生模型实际运行时遇到的输入,可能与蒸馏训练数据不同。
- 训练成本:教师模型生成大量监督数据本身也需要计算资源。
蒸馏不保证学生模型在所有任务上都能达到教师模型的表现。
四、大模型量化:Quantization
4.1 什么是量化?
量化是指将模型参数或计算过程中的高精度数值,转换为较低精度的数值表示,以降低存储和计算开销。
例如:
- FP32:32 位浮点数。
- FP16:16 位浮点数。
- BF16:16 位浮点数。
- INT8:8 位整数。
- INT4:4 位整数。
如果模型包含 70 亿个参数:
- FP32 权重理论上需要约 28 GB。
- FP16 权重理论上需要约 14 GB。
- INT8 权重理论上需要约 7 GB。
- INT4 权重理论上需要约 3.5 GB。
这里仅计算权重数据本身,不包含量化比例因子、零点、对齐填充、元数据、激活值和 KV Cache 等额外开销。
量化的核心目标是:
使用更少的比特表示模型数值,同时尽量保持模型效果。
4.2 量化的基本原理
以线性量化为例,将浮点数映射到整数区间。
常见的仿射量化形式为:
其中:
- x:原始浮点数。
- q:量化后的整数。
- s:Scale,缩放因子。
- z:Zero Point,零点。
- q_{\min},q_{\max}:量化整数的上下界。
反量化时:
其中 \hat{x} 是量化后近似恢复的浮点数。
量化不可避免地引入数值误差:
量化设计需要尽可能控制误差,避免误差对模型输出造成明显影响。
4.3 对称量化与非对称量化
对称量化(Symmetric Quantization)
将数值范围围绕零点对称分布,通常使用:
其计算简单,适合很多权重张量。
非对称量化(Asymmetric Quantization)
允许量化区间不以零为中心,通过 Scale 和 Zero Point 映射原始数值。
当原始数值分布不对称时,非对称量化可能更充分利用整数表示范围。
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| 零点 | 通常为 0 | 可以非零 |
| 参数 | 主要使用 Scale | 使用 Scale 和 Zero Point |
| 计算 | 相对简单 | 需要处理零点偏移 |
| 适用情况 | 分布相对对称的权重 | 分布不对称的数值 |
4.4 按量化粒度分类
量化不仅可以改变数据精度,还可以改变 Scale 和 Zero Point 的计算粒度。
| 量化粒度 | 说明 | 特点 |
|---|---|---|
| Per-Tensor | 整个张量共享量化参数 | 实现简单,但精度可能受极值影响 |
| Per-Channel | 每个通道独立量化参数 | 通常能更好地适应通道间差异 |
| Per-Group | 每组元素共享量化参数 | 在精度、存储和计算之间折中 |
例如,某个权重矩阵可以按输出通道分别量化,也可以将连续权重划分成多个 Group,每组使用独立的 Scale。
分组量化在低比特模型部署中非常常见。
4.5 训练后量化:PTQ
训练后量化(Post-Training Quantization,PTQ)是指模型完成训练后,再将其权重或其他数值转换为低精度表示。
典型流程:
- 加载已经训练完成的模型。
- 分析权重和激活值分布。
- 确定量化精度和粒度。
- 计算 Scale、Zero Point 等量化参数。
- 执行量化。
- 进行精度评估。
- 根据效果调整量化配置。
部分 PTQ 方法需要使用少量校准数据(Calibration Data),估计激活值的分布和范围,但不需要像常规微调那样进行完整的梯度训练。
PTQ 的优点是成本低、实施相对简单。
缺点是量化误差可能直接影响模型输出,尤其是在极低比特量化时。
4.6 量化感知训练:QAT
量化感知训练(Quantization-Aware Training,QAT)是在训练阶段模拟量化过程,让模型在训练时提前适应量化误差。
其基本思想是:
- 前向传播中模拟低精度量化。
- 反向传播中使用近似梯度更新参数。
- 让模型在训练阶段学习适应量化带来的数值变化。