返回专栏
· 17 分钟阅读

SFT 指令微调:大语言模型如何学会理解指令并生成符合要求的回答?


一、什么是 SFT?

SFT(Supervised Fine-Tuning,监督微调)是大语言模型训练中的重要阶段。

它使用人工编写、人工筛选或其他方式构造的监督数据,对预训练模型进行进一步训练,使模型学习按照用户指令完成任务。

预训练阶段主要学习:

给定一段上下文,预测下一个 Token。

SFT 阶段则进一步学习:

给定一条指令,生成符合指令要求的回答。

例如,预训练模型接触过大量自然语言文本,可能学会了如何续写文章,但不一定知道用户提出问题时应该直接回答。

经过 SFT 后,模型会接触大量类似下面的数据:

输入指令:

请解释什么是 HTTP 协议,并列出它的主要特点。

期望回答:

HTTP 是一种应用层协议,用于客户端与服务器之间传输超文本。

主要特点:
1. 基于请求-响应模型。
2. 通常运行在 TCP 或 QUIC 等传输基础之上。
3. 具有无状态特征。
4. 支持多种请求方法和状态码。
5. 可以通过 HTTPS 使用 TLS 提供安全传输。

模型通过大量类似的训练样本,逐渐学习指令与回答之间的映射关系。

1. SFT 的核心目标

SFT 主要解决基础模型在实际交互中的几个问题:

问题 SFT 的训练目标
不理解用户意图 学习识别指令中的任务要求
不擅长直接回答 学习按照问答格式组织内容
不遵循输出格式 学习 JSON、Markdown、代码等格式约束
不擅长多轮对话 学习结合历史对话理解当前问题
不具备稳定的任务模式 学习分类、摘要、翻译、代码生成等任务
输出冗长或偏题 学习更符合目标要求的回答方式

SFT 的重点不是从零开始学习语言,而是在已有语言能力的基础上,进一步塑造模型的行为方式。

2. SFT 在大语言模型训练中的位置

一个典型的大语言模型训练流程如下:

flowchart TB
    A["大规模预训练数据"] --> B["预训练"]
    B --> C["基础模型 Base Model"]
    C --> D["构造指令监督数据"]
    D --> E["SFT 监督微调"]
    E --> F["指令微调模型"]
    F --> G["偏好优化与强化学习"]
    G --> H["对齐后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意,这是一种典型流程,并非所有模型都严格按照这一顺序训练。部分模型会采用多轮 SFT、持续预训练、合成数据训练或其他组合策略。


二、SFT 与预训练有什么区别?

SFT 建立在预训练模型之上,但二者在数据形式、训练目标和模型行为上存在明显区别。

1. 训练数据不同

预训练主要使用大规模原始文本。

例如:

人工智能是一门研究如何使机器表现出智能行为的学科。
机器学习是人工智能的重要分支。
深度学习是机器学习的一种方法。

这些文本不一定包含明确的问题和答案。

SFT 则主要使用具有明确任务关系的监督数据。

例如:

指令:什么是机器学习?

回答:机器学习是人工智能的一个重要分支,
它通过数据训练模型,使模型能够从数据中学习规律,
并对新数据进行预测或决策。

二者的核心差异是:

  • 预训练数据主要提供语言和知识内容。
  • SFT 数据额外提供任务要求与目标输出。

2. 训练目标不同

预训练通常使用自回归语言建模目标:

L_{\text{pretrain}} = -\sum_{t=1}^{T} \log P_{\theta}(x_t\mid x_{<t})

模型需要预测训练文本中的每一个目标 Token。

SFT 通常使用条件语言建模目标:

L_{\text{SFT}} = -\sum_{t=1}^{T} \log P_{\theta}(y_t\mid x,y_{<t})

其中:

  • x:用户指令或输入上下文。
  • y_t:目标回答在位置 t 的 Token。
  • y_{<t}:目标回答中当前 Token 之前的内容。
  • \theta:模型参数。

SFT 希望模型在给定指令和已有回答前缀的条件下,提高正确回答 Token 的预测概率。

3. 模型行为不同

对比维度 预训练模型 SFT 模型
核心目标 学习通用语言建模 学习按照指令执行任务
数据形式 大规模原始文本 指令与目标回答
输入形式 文本上下文 指令、对话或任务输入
输出倾向 继续生成文本 生成任务要求的回答
对话能力 不一定稳定 通常更适合指令交互
格式遵循 不一定可靠 可以通过监督数据强化

这里有一个重要区别:

SFT 并没有改变模型预测下一个 Token 的基本机制。

它改变的是训练数据和训练目标所表达的条件关系。

模型依然通过 Next Token Prediction 学习,只不过现在预测的是符合指令要求的回答。


三、SFT 数据集如何构造?

SFT 的效果高度依赖监督数据的质量。

即使基础模型参数量很大,如果指令数据存在错误、低质量回答或任务覆盖不足,也可能影响微调效果。

1. 基础指令数据结构

最简单的 SFT 数据通常包含两个部分:

  • Instruction:用户指令。
  • Output:期望回答。

例如:

{
  "instruction": "解释什么是数据库索引",
  "output": "数据库索引是一种用于加速数据查询的数据结构..."
}

部分数据集还会包含输入上下文:

{
  "instruction": "总结下面这段文本",
  "input": "数据库通过索引减少查询时需要扫描的数据量...",
  "output": "数据库索引通过维护额外的数据结构,加速数据检索。"
}

这类结构可以抽象为:

D=\{(x_i,y_i)\}_{i=1}^{N}

其中:

  • x_i:第 i 条训练输入。
  • y_i:对应的目标回答。
  • N:训练样本数量。

实际训练时,输入和输出通常会被序列化为统一的对话格式,再交给 Tokenizer 编码。

2. 常见 SFT 数据类型

数据类型 示例任务 训练价值
知识问答 解释技术概念 提高问题回答能力
指令执行 按要求完成任务 提高指令遵循能力
文本生成 写文章、写邮件 学习内容组织方式
摘要提取 总结长文本 学习信息压缩
翻译 中英文互译 提高跨语言能力
分类判断 判断文本类别 学习结构化判断
代码生成 根据需求编写代码 提高编程任务能力
逻辑推理 数学和逻辑问题 学习特定推理任务模式
多轮对话 连续上下文交流 学习对话状态管理
格式输出 JSON、XML、Markdown 提高结构化输出能力

数据集不应该只追求数量,还需要覆盖足够多的任务类型和输入形式。

3. 多样性为什么重要?

假设一个 SFT 数据集包含 100 万条数据,但其中 90% 都是简单的知识问答。

那么模型可能在知识问答任务上表现不错,却不一定擅长:

  • 复杂指令;
  • 代码生成;
  • 多轮对话;
  • 结构化输出;
  • 长文本分析;
  • 多步骤任务。

这说明数据数量不能直接代表任务覆盖程度。

实际数据构造通常需要考虑:

  1. 任务类型分布。
  2. 指令复杂度分布。
  3. 回答长度分布。
  4. 语言和领域分布。
  5. 简单任务与复杂任务的比例。
  6. 不同任务之间的数据质量一致性。

4. 数据来源

SFT 数据可能来自:

  • 人工编写的高质量指令数据;
  • 人工标注的问答数据;
  • 专家编写的专业任务数据;
  • 经过筛选的公开指令数据集;
  • 使用强模型生成的合成数据;
  • 用户交互数据中经过授权、筛选和处理的样本。

合成数据已经成为重要的数据来源,但不能直接认为模型生成的回答都是高质量答案。

合成数据需要经过质量评估、事实核验、去重和安全筛选。


四、SFT 数据质量控制

SFT 不是简单地收集问题和答案,然后进行训练。

数据质量控制通常包括多个环节。

flowchart TB
    A["收集原始指令数据"] --> B["格式规范化"]
    B --> C["检查指令有效性"]
    C --> D["检查回答质量"]
    D --> E["事实与逻辑验证"]
    E --> F["重复数据检测"]
    F --> G["安全与隐私筛选"]
    G --> H["任务分类与质量分层"]
    H --> I["训练集与验证集划分"]
    I --> J["形成 SFT 数据集"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

1. 指令质量

一条好的指令应该明确表达任务要求。

质量较低的指令:

介绍一下。

这条指令缺少明确对象和输出要求。

更好的指令:

请解释数据库索引的工作原理,
重点说明 B+ 树的查询过程,
并使用一个简单示例说明。

高质量指令能够减少任务歧义,使模型学习到更明确的输入与输出关系。

2. 回答质量

目标回答是模型直接学习模仿的内容。

如果训练数据中的回答存在错误,模型可能学到错误的知识或表达模式。

回答质量通常需要检查:

  • 事实是否正确;
  • 推理过程是否合理;
  • 是否真正回答了问题;
  • 是否存在明显遗漏;
  • 是否符合指定格式;
  • 是否包含不必要的内容;
  • 是否存在安全和合规问题。

3. 数据去重

重复数据会使某些指令和回答在训练中被过度强化。

SFT 数据通常需要进行:

  • 完全相同样本去重;
  • 相似指令去重;
  • 相似回答检测;
  • 跨数据源重复检测。

但近似重复并不总是无价值。

例如,同一个知识点可能需要通过不同措辞、不同难度和不同上下文进行训练。完全删除这些样本可能降低模型对指令变化的适应能力。

4. 训练集与验证集划分

SFT 通常需要划分训练集和验证集。

训练集用于计算损失和更新参数,验证集用于观察模型在未参与参数更新的数据上的表现。

需要避免高度相似的数据同时出现在训练集和验证集中,否则验证指标可能过于乐观。


五、对话模板与特殊 Token

真实的大语言模型并不是简单地将用户问题和回答直接拼接。

为了表示角色、消息边界和对话结构,通常会使用专门的对话模板。

1. 为什么需要对话模板?

考虑下面一段多轮对话:

用户:什么是 Python?

助手:Python 是一种高级编程语言。

用户:它适合做人工智能吗?

助手:适合。Python 拥有丰富的机器学习和深度学习生态。

模型需要知道:

  • 哪些内容来自用户;
  • 哪些内容来自助手;
  • 哪条消息已经结束;
  • 当前轮次是否结束;
  • 是否需要调用工具。

如果只是简单拼接文本,模型就难以稳定区分这些结构。

因此,很多模型会使用专门的 Chat Template。

2. 常见结构标记

不同模型的特殊 Token 定义不同,下面以常见的结构标记为例:

标记 常见作用
im_start 开始一条消息
im_sep 分隔消息头与正文
im_end 结束一条消息
fim_suffix 结束助手轮次
fim_middle 标记特定填充或中间内容
meta_sep 引入频道元信息
meta_start 引入格式元信息

这些名称对应的实际 Token 通常具有专门的 Token ID。上表中的字符串只是便于理解的可见表示,并非所有模型都使用相同标记。

3. 对话序列示例

以一种常见的结构化对话格式为例:

<|im_start|>user<|im_sep|>
什么是 Transformer?
<|im_end|>
<|im_start|>assistant<|im_sep|>
Transformer 是一种基于注意力机制的神经网络架构。
<|im_end|>

这里:

  • user 表示用户角色。
  • assistant 表示助手角色。
  • im_start 表示消息开始。
  • im_sep 表示消息头与正文分隔。
  • im_end 表示当前消息结束。

对于完整的助手回答,还可能使用表示助手轮次结束的特殊标记。

4. Message End 与 Turn End 的区别

这两个概念非常重要。

  • 消息结束:当前消息已经结束,但助手可能还会继续输出。
  • 助手轮次结束:助手当前这一轮回答已经完成。

例如,助手可能先输出分析频道内容,再输出最终回答。中间消息结束不意味着整个助手轮次结束。

不同模型对消息结束、轮次结束和工具交接的标记有各自约定,不能将某一种模板的规则直接套用到所有模型。


六、SFT 的核心训练机制

SFT 仍然使用自回归语言建模,只是训练输入和目标回答具有明确的指令关系。

1. 指令条件下的语言建模

假设一条训练数据为:

(x,y)

其中:

  • x:用户指令和必要上下文。
  • y=(y_1,y_2,\ldots,y_T):目标回答。

模型学习:

P_{\theta}(y\mid x)

根据概率链式法则:

P_{\theta}(y\mid x) = \prod_{t=1}^{T} P_{\theta}(y_t\mid x,y_{<t})

模型需要根据用户指令以及已经生成的回答前缀,预测下一个目标 Token。

2. Teacher Forcing

SFT 训练通常采用 Teacher Forcing(教师强制)。

其核心思想是:

在训练目标回答的每个位置,模型使用数据集中真实的历史回答 Token 作为上下文,而不是使用模型自己刚刚生成的 Token。

例如,目标回答为:

Python 是一种编程语言。

训练时:

当前预测位置 提供给模型的回答前缀 目标 Token
1 空 Python
2 Python 是
3 Python 是 一种
4 Python 是一种 编程语言
5 Python 是一种编程语言 。

这样可以并行计算整个回答序列的损失。

但在真正推理时,模型没有标准答案作为历史上下文,只能使用自己已经生成的 Token。

这就是训练与推理之间的一个重要区别。

3. SFT 的前向计算过程

flowchart TB
    A["用户指令与上下文"] --> B["构造对话模板"]
    B --> C["Tokenizer 编码"]
    C --> D["输入 Transformer"]
    D --> E["生成各位置 Logits"]
    E --> F["与目标回答 Token 对齐"]
    F --> G["计算监督损失"]
    G --> H["反向传播"]
    H --> I["优化器更新参数"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

七、SFT 损失函数:只训练回答还是训练整个序列?

这是 SFT 实现中非常重要的细节。

一条对话通常包含:

  • 系统提示词;
  • 用户指令;
  • 助手回答;
  • 特殊 Token;
  • 可能存在的工具消息。

但并不是所有 Token 都应该参与监督损失计算。

1. 只对助手回答计算损失

在常见的指令微调中,通常只对助手目标回答计算损失。

例如:

系统:你是一个专业的编程助手。
用户:解释什么是 Python。
助手:Python 是一种高级编程语言。

训练时:

  • 系统提示词:作为条件上下文;
  • 用户指令:作为条件上下文;
  • 助手回答:作为监督目标。

对应的损失可以写为:

L_{\text{SFT}} = -\sum_{t=1}^{T} m_t \log P_{\theta}(y_t\mid x,y_{<t})

其中:

  • m_t=1:该位置参与损失计算。
  • m_t=0:该位置不参与损失计算。

通常,用户消息和系统消息对应的位置会被设置为不计算回答损失。

2. 为什么不直接训练所有 Token?

如果将用户指令、系统提示词和助手回答全部作为预测目标,模型就会同时学习模仿用户输入。

这并不一定符合指令微调的目标。

例如,模型可能把大量训练资源用于预测用户问题,而不是重点学习如何生成符合要求的回答。

只对目标回答计算损失,可以让训练目标更加聚焦于助手行为。

不过,这不是所有 SFT 方案的绝对规则。部分训练方法会对不同角色或不同 Token 设置不同权重,甚至对完整对话进行监督。

3. Loss Mask 的作用

Loss Mask 用于控制哪些 Token 参与损失计算。

例如:

Token 类型 是否参与损失
System 内容 通常不参与
User 内容 通常不参与
Assistant 回答 通常参与
Assistant 结束标记 根据训练配置决定
Padding Token 不参与
工具输出 取决于训练目标和数据设计

这里需要特别区分:

Attention Mask 与 Loss Mask 不是一回事。

  • Attention Mask:控制模型能够关注哪些位置。
  • Loss Mask:控制哪些位置参与损失计算。

Attention Mask 影响模型的信息可见范围,Loss Mask 影响参数优化的监督目标。

二者可能同时存在,但承担不同职责。

4. PyTorch 损失计算示例

下面是一个简化示例,假设模型输出已经与标签位置对齐:

import torch
import torch.nn.functional as F

# logits: [batch_size, seq_len, vocab_size]
# labels: [batch_size, seq_len]
# loss_mask: [batch_size, seq_len]

def sft_loss(logits, labels, loss_mask):
    vocab_size = logits.size(-1)

    # 展平序列维度
    logits = logits.reshape(-1, vocab_size)
    labels = labels.reshape(-1)
    loss_mask = loss_mask.reshape(-1).float()

    # 逐 Token 计算交叉熵
    token_loss = F.cross_entropy(
        logits,
        labels,
        reduction="none",
        ignore_index=-100
    )

    # 只统计有效监督位置
    valid_mask = loss_mask * (labels != -100).float()

    loss = (
        token_loss * valid_mask
    ).sum() / valid_mask.sum().clamp_min(1.0)

    return loss

这个示例体现了几个关键点:

  1. 模型输出是 Logits,而不是提前 Softmax 后的概率。
  2. 交叉熵逐 Token 计算。
  3. Loss Mask 控制参与损失计算的位置。
  4. Padding 或忽略位置不参与损失。
  5. 使用有效 Token 数量进行归一化。

实际工程中还需要处理标签错位、特殊 Token、不同长度样本以及分布式训练下的损失归一化问题。


八、SFT 的参数更新策略

SFT 可以采用不同的参数更新方式。

1. 全参数微调(Full Fine-Tuning)

全参数微调会更新模型中的全部可训练参数。

设预训练模型参数为:

\theta_0

SFT 训练完成后得到:

\theta_{\text{SFT}}

优化目标可以表示为:

\theta_{\text{SFT}} = \arg\min_{\theta} L_{\text{SFT}}(\theta)

训练过程中,Embedding、Attention、FFN、归一化层和输出投影等可训练参数都可能发生变化。

优点:

  • 参数更新范围完整;
  • 可以充分调整模型内部表示;
  • 对复杂领域适配具有较高灵活性。

缺点:

  • 显存需求高;
  • 训练成本较大;
  • 需要保存完整的模型权重;
  • 小数据集上可能出现过拟合;
  • 不同任务分别微调可能需要维护多套模型权重。

2. 参数高效微调(PEFT)

参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)只训练模型的一部分参数或新增参数。

其核心思想是:

尽量冻结原始预训练模型的大部分参数,只通过少量可训练参数完成任务适配。

常见方法包括:

  • LoRA;
  • QLoRA;
  • Adapter;
  • Prefix Tuning;
  • Prompt Tuning。

3. LoRA 的基本原理

LoRA(Low-Rank Adaptation)是一种非常常见的参数高效微调方法。

假设原始线性层权重为:

W_0\in\mathbb{R}^{d\times k}

全参数微调需要直接更新整个矩阵。

LoRA 则冻结原始权重 W_0,只训练一个低秩增量:

\Delta W=BA

其中:

A\in\mathbb{R}^{r\times k}
B\in\mathbb{R}^{d\times r}

并且:

r\ll \min(d,k)

最终权重为:

W=W_0+\frac{\alpha}{r}BA

其中: