一、什么是 SFT?
SFT(Supervised Fine-Tuning,监督微调)是大语言模型训练中的重要阶段。
它使用人工编写、人工筛选或其他方式构造的监督数据,对预训练模型进行进一步训练,使模型学习按照用户指令完成任务。
预训练阶段主要学习:
给定一段上下文,预测下一个 Token。
SFT 阶段则进一步学习:
给定一条指令,生成符合指令要求的回答。
例如,预训练模型接触过大量自然语言文本,可能学会了如何续写文章,但不一定知道用户提出问题时应该直接回答。
经过 SFT 后,模型会接触大量类似下面的数据:
输入指令:
请解释什么是 HTTP 协议,并列出它的主要特点。
期望回答:
HTTP 是一种应用层协议,用于客户端与服务器之间传输超文本。
主要特点:
1. 基于请求-响应模型。
2. 通常运行在 TCP 或 QUIC 等传输基础之上。
3. 具有无状态特征。
4. 支持多种请求方法和状态码。
5. 可以通过 HTTPS 使用 TLS 提供安全传输。
模型通过大量类似的训练样本,逐渐学习指令与回答之间的映射关系。
1. SFT 的核心目标
SFT 主要解决基础模型在实际交互中的几个问题:
| 问题 | SFT 的训练目标 |
|---|---|
| 不理解用户意图 | 学习识别指令中的任务要求 |
| 不擅长直接回答 | 学习按照问答格式组织内容 |
| 不遵循输出格式 | 学习 JSON、Markdown、代码等格式约束 |
| 不擅长多轮对话 | 学习结合历史对话理解当前问题 |
| 不具备稳定的任务模式 | 学习分类、摘要、翻译、代码生成等任务 |
| 输出冗长或偏题 | 学习更符合目标要求的回答方式 |
SFT 的重点不是从零开始学习语言,而是在已有语言能力的基础上,进一步塑造模型的行为方式。
2. SFT 在大语言模型训练中的位置
一个典型的大语言模型训练流程如下:
flowchart TB
A["大规模预训练数据"] --> B["预训练"]
B --> C["基础模型 Base Model"]
C --> D["构造指令监督数据"]
D --> E["SFT 监督微调"]
E --> F["指令微调模型"]
F --> G["偏好优化与强化学习"]
G --> H["对齐后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,这是一种典型流程,并非所有模型都严格按照这一顺序训练。部分模型会采用多轮 SFT、持续预训练、合成数据训练或其他组合策略。
二、SFT 与预训练有什么区别?
SFT 建立在预训练模型之上,但二者在数据形式、训练目标和模型行为上存在明显区别。
1. 训练数据不同
预训练主要使用大规模原始文本。
例如:
人工智能是一门研究如何使机器表现出智能行为的学科。
机器学习是人工智能的重要分支。
深度学习是机器学习的一种方法。
这些文本不一定包含明确的问题和答案。
SFT 则主要使用具有明确任务关系的监督数据。
例如:
指令:什么是机器学习?
回答:机器学习是人工智能的一个重要分支,
它通过数据训练模型,使模型能够从数据中学习规律,
并对新数据进行预测或决策。
二者的核心差异是:
- 预训练数据主要提供语言和知识内容。
- SFT 数据额外提供任务要求与目标输出。
2. 训练目标不同
预训练通常使用自回归语言建模目标:
模型需要预测训练文本中的每一个目标 Token。
SFT 通常使用条件语言建模目标:
其中:
- x:用户指令或输入上下文。
- y_t:目标回答在位置 t 的 Token。
- y_{<t}:目标回答中当前 Token 之前的内容。
- \theta:模型参数。
SFT 希望模型在给定指令和已有回答前缀的条件下,提高正确回答 Token 的预测概率。
3. 模型行为不同
| 对比维度 | 预训练模型 | SFT 模型 |
|---|---|---|
| 核心目标 | 学习通用语言建模 | 学习按照指令执行任务 |
| 数据形式 | 大规模原始文本 | 指令与目标回答 |
| 输入形式 | 文本上下文 | 指令、对话或任务输入 |
| 输出倾向 | 继续生成文本 | 生成任务要求的回答 |
| 对话能力 | 不一定稳定 | 通常更适合指令交互 |
| 格式遵循 | 不一定可靠 | 可以通过监督数据强化 |
这里有一个重要区别:
SFT 并没有改变模型预测下一个 Token 的基本机制。
它改变的是训练数据和训练目标所表达的条件关系。
模型依然通过 Next Token Prediction 学习,只不过现在预测的是符合指令要求的回答。
三、SFT 数据集如何构造?
SFT 的效果高度依赖监督数据的质量。
即使基础模型参数量很大,如果指令数据存在错误、低质量回答或任务覆盖不足,也可能影响微调效果。
1. 基础指令数据结构
最简单的 SFT 数据通常包含两个部分:
- Instruction:用户指令。
- Output:期望回答。
例如:
{
"instruction": "解释什么是数据库索引",
"output": "数据库索引是一种用于加速数据查询的数据结构..."
}
部分数据集还会包含输入上下文:
{
"instruction": "总结下面这段文本",
"input": "数据库通过索引减少查询时需要扫描的数据量...",
"output": "数据库索引通过维护额外的数据结构,加速数据检索。"
}
这类结构可以抽象为:
其中:
- x_i:第 i 条训练输入。
- y_i:对应的目标回答。
- N:训练样本数量。
实际训练时,输入和输出通常会被序列化为统一的对话格式,再交给 Tokenizer 编码。
2. 常见 SFT 数据类型
| 数据类型 | 示例任务 | 训练价值 |
|---|---|---|
| 知识问答 | 解释技术概念 | 提高问题回答能力 |
| 指令执行 | 按要求完成任务 | 提高指令遵循能力 |
| 文本生成 | 写文章、写邮件 | 学习内容组织方式 |
| 摘要提取 | 总结长文本 | 学习信息压缩 |
| 翻译 | 中英文互译 | 提高跨语言能力 |
| 分类判断 | 判断文本类别 | 学习结构化判断 |
| 代码生成 | 根据需求编写代码 | 提高编程任务能力 |
| 逻辑推理 | 数学和逻辑问题 | 学习特定推理任务模式 |
| 多轮对话 | 连续上下文交流 | 学习对话状态管理 |
| 格式输出 | JSON、XML、Markdown | 提高结构化输出能力 |
数据集不应该只追求数量,还需要覆盖足够多的任务类型和输入形式。
3. 多样性为什么重要?
假设一个 SFT 数据集包含 100 万条数据,但其中 90% 都是简单的知识问答。
那么模型可能在知识问答任务上表现不错,却不一定擅长:
- 复杂指令;
- 代码生成;
- 多轮对话;
- 结构化输出;
- 长文本分析;
- 多步骤任务。
这说明数据数量不能直接代表任务覆盖程度。
实际数据构造通常需要考虑:
- 任务类型分布。
- 指令复杂度分布。
- 回答长度分布。
- 语言和领域分布。
- 简单任务与复杂任务的比例。
- 不同任务之间的数据质量一致性。
4. 数据来源
SFT 数据可能来自:
- 人工编写的高质量指令数据;
- 人工标注的问答数据;
- 专家编写的专业任务数据;
- 经过筛选的公开指令数据集;
- 使用强模型生成的合成数据;
- 用户交互数据中经过授权、筛选和处理的样本。
合成数据已经成为重要的数据来源,但不能直接认为模型生成的回答都是高质量答案。
合成数据需要经过质量评估、事实核验、去重和安全筛选。
四、SFT 数据质量控制
SFT 不是简单地收集问题和答案,然后进行训练。
数据质量控制通常包括多个环节。
flowchart TB
A["收集原始指令数据"] --> B["格式规范化"]
B --> C["检查指令有效性"]
C --> D["检查回答质量"]
D --> E["事实与逻辑验证"]
E --> F["重复数据检测"]
F --> G["安全与隐私筛选"]
G --> H["任务分类与质量分层"]
H --> I["训练集与验证集划分"]
I --> J["形成 SFT 数据集"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
1. 指令质量
一条好的指令应该明确表达任务要求。
质量较低的指令:
介绍一下。
这条指令缺少明确对象和输出要求。
更好的指令:
请解释数据库索引的工作原理,
重点说明 B+ 树的查询过程,
并使用一个简单示例说明。
高质量指令能够减少任务歧义,使模型学习到更明确的输入与输出关系。
2. 回答质量
目标回答是模型直接学习模仿的内容。
如果训练数据中的回答存在错误,模型可能学到错误的知识或表达模式。
回答质量通常需要检查:
- 事实是否正确;
- 推理过程是否合理;
- 是否真正回答了问题;
- 是否存在明显遗漏;
- 是否符合指定格式;
- 是否包含不必要的内容;
- 是否存在安全和合规问题。
3. 数据去重
重复数据会使某些指令和回答在训练中被过度强化。
SFT 数据通常需要进行:
- 完全相同样本去重;
- 相似指令去重;
- 相似回答检测;
- 跨数据源重复检测。
但近似重复并不总是无价值。
例如,同一个知识点可能需要通过不同措辞、不同难度和不同上下文进行训练。完全删除这些样本可能降低模型对指令变化的适应能力。
4. 训练集与验证集划分
SFT 通常需要划分训练集和验证集。
训练集用于计算损失和更新参数,验证集用于观察模型在未参与参数更新的数据上的表现。
需要避免高度相似的数据同时出现在训练集和验证集中,否则验证指标可能过于乐观。
五、对话模板与特殊 Token
真实的大语言模型并不是简单地将用户问题和回答直接拼接。
为了表示角色、消息边界和对话结构,通常会使用专门的对话模板。
1. 为什么需要对话模板?
考虑下面一段多轮对话:
用户:什么是 Python?
助手:Python 是一种高级编程语言。
用户:它适合做人工智能吗?
助手:适合。Python 拥有丰富的机器学习和深度学习生态。
模型需要知道:
- 哪些内容来自用户;
- 哪些内容来自助手;
- 哪条消息已经结束;
- 当前轮次是否结束;
- 是否需要调用工具。
如果只是简单拼接文本,模型就难以稳定区分这些结构。
因此,很多模型会使用专门的 Chat Template。
2. 常见结构标记
不同模型的特殊 Token 定义不同,下面以常见的结构标记为例:
| 标记 | 常见作用 |
|---|---|
im_start |
开始一条消息 |
im_sep |
分隔消息头与正文 |
im_end |
结束一条消息 |
fim_suffix |
结束助手轮次 |
fim_middle |
标记特定填充或中间内容 |
meta_sep |
引入频道元信息 |
meta_start |
引入格式元信息 |
这些名称对应的实际 Token 通常具有专门的 Token ID。上表中的字符串只是便于理解的可见表示,并非所有模型都使用相同标记。
3. 对话序列示例
以一种常见的结构化对话格式为例:
<|im_start|>user<|im_sep|>
什么是 Transformer?
<|im_end|>
<|im_start|>assistant<|im_sep|>
Transformer 是一种基于注意力机制的神经网络架构。
<|im_end|>
这里:
user表示用户角色。assistant表示助手角色。im_start表示消息开始。im_sep表示消息头与正文分隔。im_end表示当前消息结束。
对于完整的助手回答,还可能使用表示助手轮次结束的特殊标记。
4. Message End 与 Turn End 的区别
这两个概念非常重要。
- 消息结束:当前消息已经结束,但助手可能还会继续输出。
- 助手轮次结束:助手当前这一轮回答已经完成。
例如,助手可能先输出分析频道内容,再输出最终回答。中间消息结束不意味着整个助手轮次结束。
不同模型对消息结束、轮次结束和工具交接的标记有各自约定,不能将某一种模板的规则直接套用到所有模型。
六、SFT 的核心训练机制
SFT 仍然使用自回归语言建模,只是训练输入和目标回答具有明确的指令关系。
1. 指令条件下的语言建模
假设一条训练数据为:
其中:
- x:用户指令和必要上下文。
- y=(y_1,y_2,\ldots,y_T):目标回答。
模型学习:
根据概率链式法则:
模型需要根据用户指令以及已经生成的回答前缀,预测下一个目标 Token。
2. Teacher Forcing
SFT 训练通常采用 Teacher Forcing(教师强制)。
其核心思想是:
在训练目标回答的每个位置,模型使用数据集中真实的历史回答 Token 作为上下文,而不是使用模型自己刚刚生成的 Token。
例如,目标回答为:
Python 是一种编程语言。
训练时:
| 当前预测位置 | 提供给模型的回答前缀 | 目标 Token |
|---|---|---|
| 1 | 空 | Python |
| 2 | Python | 是 |
| 3 | Python 是 | 一种 |
| 4 | Python 是一种 | 编程语言 |
| 5 | Python 是一种编程语言 | 。 |
这样可以并行计算整个回答序列的损失。
但在真正推理时,模型没有标准答案作为历史上下文,只能使用自己已经生成的 Token。
这就是训练与推理之间的一个重要区别。
3. SFT 的前向计算过程
flowchart TB
A["用户指令与上下文"] --> B["构造对话模板"]
B --> C["Tokenizer 编码"]
C --> D["输入 Transformer"]
D --> E["生成各位置 Logits"]
E --> F["与目标回答 Token 对齐"]
F --> G["计算监督损失"]
G --> H["反向传播"]
H --> I["优化器更新参数"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
七、SFT 损失函数:只训练回答还是训练整个序列?
这是 SFT 实现中非常重要的细节。
一条对话通常包含:
- 系统提示词;
- 用户指令;
- 助手回答;
- 特殊 Token;
- 可能存在的工具消息。
但并不是所有 Token 都应该参与监督损失计算。
1. 只对助手回答计算损失
在常见的指令微调中,通常只对助手目标回答计算损失。
例如:
系统:你是一个专业的编程助手。
用户:解释什么是 Python。
助手:Python 是一种高级编程语言。
训练时:
- 系统提示词:作为条件上下文;
- 用户指令:作为条件上下文;
- 助手回答:作为监督目标。
对应的损失可以写为:
其中:
- m_t=1:该位置参与损失计算。
- m_t=0:该位置不参与损失计算。
通常,用户消息和系统消息对应的位置会被设置为不计算回答损失。
2. 为什么不直接训练所有 Token?
如果将用户指令、系统提示词和助手回答全部作为预测目标,模型就会同时学习模仿用户输入。
这并不一定符合指令微调的目标。
例如,模型可能把大量训练资源用于预测用户问题,而不是重点学习如何生成符合要求的回答。
只对目标回答计算损失,可以让训练目标更加聚焦于助手行为。
不过,这不是所有 SFT 方案的绝对规则。部分训练方法会对不同角色或不同 Token 设置不同权重,甚至对完整对话进行监督。
3. Loss Mask 的作用
Loss Mask 用于控制哪些 Token 参与损失计算。
例如:
| Token 类型 | 是否参与损失 |
|---|---|
| System 内容 | 通常不参与 |
| User 内容 | 通常不参与 |
| Assistant 回答 | 通常参与 |
| Assistant 结束标记 | 根据训练配置决定 |
| Padding Token | 不参与 |
| 工具输出 | 取决于训练目标和数据设计 |
这里需要特别区分:
Attention Mask 与 Loss Mask 不是一回事。
- Attention Mask:控制模型能够关注哪些位置。
- Loss Mask:控制哪些位置参与损失计算。
Attention Mask 影响模型的信息可见范围,Loss Mask 影响参数优化的监督目标。
二者可能同时存在,但承担不同职责。
4. PyTorch 损失计算示例
下面是一个简化示例,假设模型输出已经与标签位置对齐:
import torch
import torch.nn.functional as F
# logits: [batch_size, seq_len, vocab_size]
# labels: [batch_size, seq_len]
# loss_mask: [batch_size, seq_len]
def sft_loss(logits, labels, loss_mask):
vocab_size = logits.size(-1)
# 展平序列维度
logits = logits.reshape(-1, vocab_size)
labels = labels.reshape(-1)
loss_mask = loss_mask.reshape(-1).float()
# 逐 Token 计算交叉熵
token_loss = F.cross_entropy(
logits,
labels,
reduction="none",
ignore_index=-100
)
# 只统计有效监督位置
valid_mask = loss_mask * (labels != -100).float()
loss = (
token_loss * valid_mask
).sum() / valid_mask.sum().clamp_min(1.0)
return loss
这个示例体现了几个关键点:
- 模型输出是 Logits,而不是提前 Softmax 后的概率。
- 交叉熵逐 Token 计算。
- Loss Mask 控制参与损失计算的位置。
- Padding 或忽略位置不参与损失。
- 使用有效 Token 数量进行归一化。
实际工程中还需要处理标签错位、特殊 Token、不同长度样本以及分布式训练下的损失归一化问题。
八、SFT 的参数更新策略
SFT 可以采用不同的参数更新方式。
1. 全参数微调(Full Fine-Tuning)
全参数微调会更新模型中的全部可训练参数。
设预训练模型参数为:
SFT 训练完成后得到:
优化目标可以表示为:
训练过程中,Embedding、Attention、FFN、归一化层和输出投影等可训练参数都可能发生变化。
优点:
- 参数更新范围完整;
- 可以充分调整模型内部表示;
- 对复杂领域适配具有较高灵活性。
缺点:
- 显存需求高;
- 训练成本较大;
- 需要保存完整的模型权重;
- 小数据集上可能出现过拟合;
- 不同任务分别微调可能需要维护多套模型权重。
2. 参数高效微调(PEFT)
参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)只训练模型的一部分参数或新增参数。
其核心思想是:
尽量冻结原始预训练模型的大部分参数,只通过少量可训练参数完成任务适配。
常见方法包括:
- LoRA;
- QLoRA;
- Adapter;
- Prefix Tuning;
- Prompt Tuning。
3. LoRA 的基本原理
LoRA(Low-Rank Adaptation)是一种非常常见的参数高效微调方法。
假设原始线性层权重为:
全参数微调需要直接更新整个矩阵。
LoRA 则冻结原始权重 W_0,只训练一个低秩增量:
其中:
并且:
最终权重为:
其中: