返回专栏
· 16 分钟阅读

大模型微调、蒸馏与量化:三种核心模型优化技术


一、为什么需要优化大模型?

大语言模型通常具有庞大的参数规模。随着模型规模增长,训练、推理和部署面临越来越高的资源要求。

主要挑战包括:

  1. 模型能力与业务需求之间的差距:通用模型不一定熟悉特定行业知识、业务规则和任务格式。
  2. 训练成本高:全量更新数十亿甚至数千亿参数,需要大量计算资源。
  3. 推理成本高:模型参数、激活值和 KV Cache 都会占用显存,推理还受到计算能力与内存带宽限制。
  4. 部署环境受限:边缘设备、私有服务器和移动终端可能无法运行原始规模的模型。
  5. 响应延迟与吞吐量要求:生产系统通常需要在模型效果、延迟、并发能力和成本之间取得平衡。

围绕这些问题,形成了三种重要的模型优化技术:

技术 核心目标 主要改变对象 典型收益
微调 Fine-Tuning 让模型适应特定任务 模型参数或适配参数 提升任务适应性
蒸馏 Knowledge Distillation 将教师模型能力迁移给学生模型 学生模型的训练目标与参数 获得更小、更易部署的模型
量化 Quantization 降低数值表示精度 权重、激活值、缓存等数值表示 减少显存、存储和部分计算成本

三者并不是相互替代的关系。

  • 微调解决模型如何适应特定任务。
  • 蒸馏解决如何将已有模型的能力迁移到另一个模型。
  • 量化解决如何以更低的数值精度存储和执行模型。

二、大模型微调:Fine-Tuning

2.1 什么是微调?

微调是指在预训练模型的基础上,使用特定任务或领域的数据继续训练,使模型的参数适应新的任务需求。

预训练阶段,模型通过海量数据学习通用语言能力、知识关联和模式表示。

微调阶段,模型继续学习特定的数据分布、任务要求和输出方式。

例如:

  • 通用模型:能够回答各种领域的问题。
  • 法律领域模型:更熟悉法律术语、法律文书和相关任务格式。
  • 代码模型:更擅长代码生成、代码补全和程序分析。
  • 企业内部模型:更符合企业的业务流程和输出规范。

微调并不是从零开始训练模型,而是利用已有模型参数作为初始化。

2.2 微调的基本原理

假设预训练模型参数为:

\theta_0

微调使用特定数据集:

D=\{(x_i,y_i)\}_{i=1}^{N}

其中:

  • x_i:输入数据,例如指令或问题。
  • y_i:目标输出,例如回答或标签。
  • N:训练样本数量。

微调的目标是最小化训练数据上的损失:

\theta^\*= \arg\min_{\theta} \mathbb{E}_{(x,y)\sim D} \left[ L(f_\theta(x),y) \right]

其中:

  • f_\theta:参数为 \theta 的模型。
  • L:损失函数。
  • \theta^\*:微调后得到的参数。

对于自回归语言模型,常见目标仍然是 Next Token Prediction:

L(\theta)= -\sum_{t=1}^{T} \log P_\theta(y_t|x,y_{<t})

模型根据上下文预测目标序列中的下一个 Token,通过损失函数计算预测结果与训练目标之间的差异,再通过反向传播更新参数。

需要注意:不同微调任务的数据格式、监督信号和损失设计可能不同,但核心思想都是利用新的训练目标调整模型行为。

2.3 微调的完整流程

flowchart TB
    A["选择预训练模型"] --> B["准备领域或任务数据"]
    B --> C["数据清洗与质量检查"]
    C --> D["构造训练样本"]
    D --> E["配置微调策略"]
    E --> F["模型前向传播"]
    F --> G["计算训练损失"]
    G --> H["反向传播"]
    H --> I["更新可训练参数"]
    I --> J{"是否达到训练条件"}
    J -->|"否"| F
    J -->|"是"| K["保存微调模型"]
    K --> L["验证与评估"]
    L --> M["部署与持续监控"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#E5F0E9,stroke:#83A995,color:#315D49

2.4 全量微调:Full Fine-Tuning

全量微调是指训练过程中更新模型的全部或几乎全部可训练参数。

对于一个参数规模为 7B 的模型:

N=7\times10^9

意味着约有 70 亿个参数需要参与训练。

其基本过程是:

  1. 加载预训练模型。
  2. 输入训练样本。
  3. 执行前向传播。
  4. 计算预测损失。
  5. 反向传播计算梯度。
  6. 优化器更新模型参数。

参数更新可以抽象为:

\theta_{t+1}=\theta_t-\eta\nabla_\theta L

其中:

  • \eta:学习率。
  • \nabla_\theta L:损失函数对模型参数的梯度。

优点:

  • 模型参数可以充分适应新任务。
  • 可以调整模型不同层的表示能力。
  • 适合数据量充足、任务差异较大且资源充足的场景。

缺点:

  • 训练显存开销大。
  • 计算成本高。
  • 训练和保存完整模型的成本较高。
  • 数据质量不佳时,容易出现过拟合或灾难性遗忘。

全量微调并不意味着一定优于参数高效微调。实际效果取决于数据质量、任务特点、模型规模和训练配置。

2.5 参数高效微调:PEFT

参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)是一类降低微调成本的方法。

它的核心思想是:

尽可能冻结预训练模型的大部分参数,只训练少量新增参数或选定参数。

常见方法包括:

方法 核心思想 主要特点
LoRA 使用低秩矩阵表示权重更新 参数少,应用广泛
QLoRA 冻结量化后的基础模型,通过 LoRA 训练 降低微调显存需求
Adapter 在网络层中加入小型适配模块 可针对不同任务保存适配器
Prefix Tuning 学习可训练的连续前缀表示 不直接更新主体模型
Prompt Tuning 学习软提示向量 训练参数量较少
BitFit 只更新偏置参数 实现简单,但适用范围有限

LoRA 的核心原理

LoRA(Low-Rank Adaptation)的基本思想是:不直接更新原始权重矩阵,而是通过两个低秩矩阵近似表示权重变化。

假设原始权重矩阵为:

W_0\in\mathbb{R}^{d\times k}

全量微调需要学习一个完整的权重更新矩阵:

\Delta W\in\mathbb{R}^{d\times k}

LoRA 将其分解为:

\Delta W=BA

其中:

A\in\mathbb{R}^{r\times k}
B\in\mathbb{R}^{d\times r}

并且:

r\ll \min(d,k)

最终权重为:

W=W_0+\frac{\alpha}{r}BA

其中:

  • W_0:冻结的预训练权重。
  • A、B:需要训练的低秩矩阵。
  • r:低秩矩阵的秩。
  • \alpha:缩放系数。

原本需要学习 d\times k 个参数,现在只需要学习:

r(d+k)

当 r 远小于矩阵维度时,训练参数量可以显著减少。

LoRA 的重要价值是将任务适配能力从庞大的基础模型参数中分离出来。

一个基础模型可以搭配多个 LoRA Adapter,针对不同业务加载不同的适配参数。

需要注意,LoRA 并不是所有模型层都必须使用,也不是秩越大效果越好。具体效果取决于目标模块、秩、缩放系数、训练数据和任务特点。

2.6 微调的关键问题

数据质量比数据数量更重要。

大量重复、错误或相互冲突的数据,可能让模型学到错误模式。

微调过程中还需要关注:

  • 数据去重,避免重复样本造成训练分布偏移。
  • 训练集、验证集和测试集隔离,避免数据泄漏。
  • 合理设置学习率,避免破坏预训练能力。
  • 通过验证集观察过拟合。
  • 控制领域数据与通用数据的比例,减少灾难性遗忘。
  • 对多轮对话数据正确设置角色、结束标记和损失掩码。

尤其是指令微调,通常只对需要模型生成的 Assistant 部分计算损失,而不是将所有输入文本都作为预测目标。这种处理通常称为 Label Masking。

三、大模型蒸馏:Knowledge Distillation

3.1 什么是模型蒸馏?

模型蒸馏是一种知识迁移技术。

它通过一个能力较强的教师模型(Teacher Model),指导一个学生模型(Student Model)学习,使学生模型在规模更小、计算资源更少的情况下,尽可能获得教师模型的能力。

例如:

  • 教师模型:参数规模较大的高性能模型。
  • 学生模型:参数规模较小、推理成本较低的模型。

蒸馏的目标不是简单地复制教师模型的参数,而是让学生模型学习教师模型提供的监督信息。

微调与蒸馏最大的区别:

  • 微调:使用任务数据调整模型。
  • 蒸馏:使用教师模型产生的知识或监督信号训练学生模型。

蒸馏通常也需要训练过程,因此学生模型的参数会被更新。从这个角度看,蒸馏可以使用微调式的优化方法,但它的监督信号来源和训练目标更加特殊。

3.2 教师模型与学生模型

蒸馏通常涉及两个模型:

教师模型(Teacher Model)

  • 通常具有更大的参数规模或更强的任务能力。
  • 为训练样本提供预测结果、概率分布、隐藏表示或推理示例。
  • 提供学生模型需要学习的监督信号。

学生模型(Student Model)

  • 通常规模更小。
  • 学习教师模型提供的知识。
  • 目标是在较低计算成本下获得尽可能好的性能。

需要注意,教师模型不一定必须比学生模型参数更多。蒸馏的核心是知识迁移关系,而不是严格的参数规模排序。

3.3 蒸馏的基本原理

假设教师模型输出 Logits:

z_t

学生模型输出 Logits:

z_s

通过 Softmax 和温度参数 T,可以将 Logits 转换为软概率分布:

p_t^{(T)}= softmax\left(\frac{z_t}{T}\right)
p_s^{(T)}= softmax\left(\frac{z_s}{T}\right)

其中:

  • p_t^{(T)}:教师模型的软概率分布。
  • p_s^{(T)}:学生模型的软概率分布。
  • T:蒸馏温度。

当 T 增大时,概率分布通常会变得更加平滑,低概率类别之间的相对关系也更容易体现出来。

例如,教师模型对三个类别的预测可能是:

类别 普通概率分布 较高温度下的软分布
A 0.90 0.65
B 0.08 0.25
C 0.02 0.10

软标签不仅告诉学生模型正确答案是什么,还包含教师模型对其他候选类别的相对判断。

这也是蒸馏区别于只使用硬标签训练的重要特点。

3.4 KL 散度:让学生模型模仿教师模型

常见的蒸馏损失是 KL 散度:

L_{KD} = D_{KL} \left( p_t^{(T)} \parallel p_s^{(T)} \right)

展开后:

L_{KD} = \sum_i p_{t,i}^{(T)} \log \frac{p_{t,i}^{(T)}}{p_{s,i}^{(T)}}

KL 散度衡量两个概率分布之间的差异。

当学生模型的预测分布逐渐接近教师模型时,蒸馏损失就会下降。

由于温度会改变概率分布的平滑程度,常见实现会将蒸馏损失乘以 T^2,以调整不同温度下梯度的尺度:

L_{KD}^{scaled}=T^2L_{KD}

3.5 蒸馏损失与真实标签损失

实际训练中,通常不会只让学生模型模仿教师模型。

因为教师模型也可能犯错。如果学生模型完全复制教师模型的输出,就可能继承教师模型的错误。

因此,常见方法是结合真实标签损失和蒸馏损失:

L= \lambda L_{KD} + (1-\lambda)L_{CE}

其中:

  • L_{KD}:教师模型与学生模型之间的蒸馏损失。
  • L_{CE}:学生模型与真实标签之间的交叉熵损失。
  • \lambda:两种训练目标的权重。

这种组合让学生模型同时学习教师模型的行为和真实任务标签。

对于语言模型,还可以使用教师模型生成的回答、Token 级概率分布或中间表示作为监督信号,具体损失形式取决于蒸馏方案。

3.6 蒸馏的主要类型

蒸馏类型 迁移内容 核心思想
响应蒸馏 模型生成的文本 学习教师模型的回答方式
Logits 蒸馏 输出层 Logits 学习教师模型的输出分布
特征蒸馏 中间层隐藏表示 学习教师模型的内部表示
Attention 蒸馏 注意力权重或相关结构 学习教师模型的注意力模式
数据蒸馏 教师模型生成的训练数据 利用教师模型构造训练样本
推理过程蒸馏 推理示例或中间推理步骤 学习教师模型展示出的解题过程

这些类型并不互斥,一个蒸馏方案可以组合多种监督信号。

特别需要注意:模型输出的推理过程不一定完整反映模型内部真实计算过程。推理过程蒸馏迁移的是教师模型生成的推理示例,而不能简单理解为直接复制其内部推理机制。

3.7 大模型蒸馏的流程

flowchart TB
    A["准备教师模型"] --> B["准备蒸馏数据"]
    B --> C["教师模型生成监督信号"]
    C --> D["生成软标签或示例回答"]
    D --> E["准备学生模型"]
    E --> F["学生模型前向计算"]
    F --> G["计算蒸馏损失"]
    G --> H["结合真实标签损失"]
    H --> I["反向传播更新学生模型"]
    I --> J{"是否达到训练条件"}
    J -->|"否"| F
    J -->|"是"| K["保存学生模型"]
    K --> L["独立评估模型能力"]
    L --> M["部署学生模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#E5F0E9,stroke:#83A995,color:#315D49

3.8 大模型蒸馏的特殊挑战

传统分类模型的输出类别数量通常有限,而大语言模型的输出词表可能达到数万甚至更多。

对于自回归语言模型,教师模型和学生模型可能具有不同的:

  • Tokenizer。
  • 词表大小。
  • 网络结构。
  • 隐藏层维度。
  • Attention Head 数量。
  • 上下文窗口。

这意味着不能总是直接比较两个模型的 Logits 或隐藏层向量。

例如,教师模型的第 1000 个 Token ID 与学生模型的第 1000 个 Token ID,可能代表完全不同的 Token。

如果两者词表不同,通常需要采用文本级响应蒸馏、统一 Token 空间、对齐表示空间等方案,而不能直接套用相同索引的 Logits 蒸馏。

此外,蒸馏还面临:

  1. 教师模型错误传播:学生模型可能学习教师模型的错误答案。
  2. 能力压缩损失:学生模型容量有限,难以完整吸收教师模型的知识。
  3. 数据覆盖不足:蒸馏数据无法覆盖教师模型全部能力。
  4. 分布偏移:学生模型实际运行时遇到的输入,可能与蒸馏训练数据不同。
  5. 训练成本:教师模型生成大量监督数据本身也需要计算资源。

蒸馏不保证学生模型在所有任务上都能达到教师模型的表现。

四、大模型量化:Quantization

4.1 什么是量化?

量化是指将模型参数或计算过程中的高精度数值,转换为较低精度的数值表示,以降低存储和计算开销。

例如:

  • FP32:32 位浮点数。
  • FP16:16 位浮点数。
  • BF16:16 位浮点数。
  • INT8:8 位整数。
  • INT4:4 位整数。

如果模型包含 70 亿个参数:

  • FP32 权重理论上需要约 28 GB。
  • FP16 权重理论上需要约 14 GB。
  • INT8 权重理论上需要约 7 GB。
  • INT4 权重理论上需要约 3.5 GB。

这里仅计算权重数据本身,不包含量化比例因子、零点、对齐填充、元数据、激活值和 KV Cache 等额外开销。

量化的核心目标是:

使用更少的比特表示模型数值,同时尽量保持模型效果。

4.2 量化的基本原理

以线性量化为例,将浮点数映射到整数区间。

常见的仿射量化形式为:

q= clip\left( round\left(\frac{x}{s}\right)+z, q_{\min},q_{\max} \right)

其中:

  • x:原始浮点数。
  • q:量化后的整数。
  • s:Scale,缩放因子。
  • z:Zero Point,零点。
  • q_{\min},q_{\max}:量化整数的上下界。

反量化时:

\hat{x}=s(q-z)

其中 \hat{x} 是量化后近似恢复的浮点数。

量化不可避免地引入数值误差:

e=x-\hat{x}

量化设计需要尽可能控制误差,避免误差对模型输出造成明显影响。

4.3 对称量化与非对称量化

对称量化(Symmetric Quantization)

将数值范围围绕零点对称分布,通常使用:

z=0

其计算简单,适合很多权重张量。

非对称量化(Asymmetric Quantization)

允许量化区间不以零为中心,通过 Scale 和 Zero Point 映射原始数值。

当原始数值分布不对称时,非对称量化可能更充分利用整数表示范围。

对比维度 对称量化 非对称量化
零点 通常为 0 可以非零
参数 主要使用 Scale 使用 Scale 和 Zero Point
计算 相对简单 需要处理零点偏移
适用情况 分布相对对称的权重 分布不对称的数值

4.4 按量化粒度分类

量化不仅可以改变数据精度,还可以改变 Scale 和 Zero Point 的计算粒度。

量化粒度 说明 特点
Per-Tensor 整个张量共享量化参数 实现简单,但精度可能受极值影响
Per-Channel 每个通道独立量化参数 通常能更好地适应通道间差异
Per-Group 每组元素共享量化参数 在精度、存储和计算之间折中

例如,某个权重矩阵可以按输出通道分别量化,也可以将连续权重划分成多个 Group,每组使用独立的 Scale。

分组量化在低比特模型部署中非常常见。

4.5 训练后量化:PTQ

训练后量化(Post-Training Quantization,PTQ)是指模型完成训练后,再将其权重或其他数值转换为低精度表示。

典型流程:

  1. 加载已经训练完成的模型。
  2. 分析权重和激活值分布。
  3. 确定量化精度和粒度。
  4. 计算 Scale、Zero Point 等量化参数。
  5. 执行量化。
  6. 进行精度评估。
  7. 根据效果调整量化配置。

部分 PTQ 方法需要使用少量校准数据(Calibration Data),估计激活值的分布和范围,但不需要像常规微调那样进行完整的梯度训练。

PTQ 的优点是成本低、实施相对简单。

缺点是量化误差可能直接影响模型输出,尤其是在极低比特量化时。

4.6 量化感知训练:QAT

量化感知训练(Quantization-Aware Training,QAT)是在训练阶段模拟量化过程,让模型在训练时提前适应量化误差。

其基本思想是:

  • 前向传播中模拟低精度量化。
  • 反向传播中使用近似梯度更新参数。
  • 让模型在训练阶段学习适应量化带来的数值变化。