返回专栏
· 22 分钟阅读

RLHF 与 DPO 对齐技术:大语言模型如何学习人类偏好?


一、什么是大语言模型对齐?

预训练让大语言模型具备语言建模、知识关联和文本生成能力,SFT 让模型学会理解指令并按照要求生成回答。

但这并不意味着模型生成的回答一定符合人类偏好。

例如,用户提出:

请解释什么是数据库索引。

模型可能生成两种回答:

回答 A:

数据库索引是一种用于加速数据查询的数据结构。它通过维护额外的索引信息,减少查询时需要扫描的数据量。常见索引结构包括 B+ 树和哈希索引。

回答 B:

数据库索引是一种数据库里面的东西,可以帮助数据库运行得更快。它很重要,能够提升数据库性能。

两种回答都试图解释数据库索引,但回答 A 更准确、具体,信息组织也更加清晰。

如果只使用 SFT,模型通常学习模仿训练数据中的标准回答。但当一个问题存在多个合理答案时,单纯的监督学习很难完整表达不同答案之间的偏好关系。

这就是偏好对齐(Preference Alignment)需要解决的问题。

1. 什么是对齐?

大语言模型对齐,是指通过训练和其他约束机制,使模型的输出行为更加符合预期目标。

常见目标包括:

  • 有用性(Helpfulness):回答能够真正解决问题。
  • 真实性(Truthfulness):尽可能减少错误信息。
  • 安全性(Safety):避免生成有害内容。
  • 指令遵循(Instruction Following):按照用户要求完成任务。
  • 表达质量(Response Quality):回答清晰、准确、结构合理。
  • 偏好一致性(Preference Consistency):在多个合理回答中倾向于更受偏好的回答。

需要注意,对齐并不意味着模型能够保证所有回答都正确,也不意味着人类偏好天然等于客观事实。

模型学习的是特定数据、标注标准和奖励机制所表达的偏好。

2. RLHF 与 DPO 是什么?

RLHF 和 DPO 都可以用于基于偏好数据优化语言模型,但二者采用不同的优化路径。

RLHF(Reinforcement Learning from Human Feedback)

中文通常称为基于人类反馈的强化学习。

经典 RLHF 流程通常包括:

  1. 使用 SFT 模型生成多个候选回答。
  2. 人类对候选回答进行比较和排序。
  3. 使用偏好数据训练奖励模型。
  4. 使用强化学习算法(如 PPO)优化语言模型。
  5. 根据奖励信号调整模型行为。

DPO(Direct Preference Optimization)

中文通常称为直接偏好优化。

DPO 直接使用偏好数据优化语言模型,不需要单独训练一个奖励模型,也不需要像经典 RLHF-PPO 流程那样进行在线强化学习。

两者的核心差异:

对比维度 RLHF(经典 PPO 路线) DPO
偏好数据 需要 需要
奖励模型 通常需要 不需要单独训练
强化学习 使用 PPO 等算法 不需要传统 PPO 流程
参考模型 通常需要 通常需要
优化方式 奖励驱动的策略优化 偏好对直接优化
工程复杂度 通常较高 通常较低
训练稳定性 需要处理 RL 稳定性问题 通常更容易实现
适用场景 复杂奖励优化、在线交互等 离线偏好数据优化

这里的 RLHF 特指经典的奖励模型加 PPO 路线。广义 RLHF 也可以包含其他基于人类反馈的强化学习方法,DPO 则是一种直接偏好优化方法。


二、从 SFT 到偏好对齐

理解 RLHF 和 DPO,需要先明确 SFT 的能力边界。

1. SFT 学习的是目标回答

SFT 数据通常采用:

D_{\text{SFT}}=\{(x_i,y_i)\}_{i=1}^{N}

其中:

  • x_i:输入指令。
  • y_i:目标回答。
  • N:训练样本数量。

模型通过最大化目标回答的条件概率进行训练:

\max_{\theta} \sum_{i=1}^{N} \log P_{\theta}(y_i\mid x_i)

对应的负对数似然损失:

L_{\text{SFT}} = -\sum_{i=1}^{N} \log P_{\theta}(y_i\mid x_i)

SFT 的核心是模仿给定的目标回答。

2. 偏好数据表达的是相对优劣

偏好数据与 SFT 数据不同。

SFT 通常告诉模型:

这个问题应该如何回答。

偏好数据则告诉模型:

对于同一个问题,哪个回答更值得选择。

例如:

输入:

解释一下数据库索引。

候选回答 A:

数据库索引是一种辅助数据结构,可以减少查询时的数据扫描范围。
常见索引结构包括 B+ 树和哈希索引。

候选回答 B:

数据库索引就是数据库里面的一种功能。

人工标注者认为 A 优于 B。

这条偏好数据可以表示为:

(x,y_w,y_l)

其中:

  • x:输入问题。
  • y_w:被偏好的回答(Winner)。
  • y_l:不被偏好的回答(Loser)。

模型不再只学习一个标准答案,而是学习回答之间的相对偏好关系。

3. 偏好数据的基本形式

常见偏好数据结构:

{
  "prompt": "解释一下数据库索引",
  "chosen": "数据库索引是一种辅助数据结构,可以加速数据查询。",
  "rejected": "数据库索引就是数据库中的一种功能。"
}

实际数据集还可能包含:

  • 标注者信息;
  • 评分;
  • 多个候选回答;
  • 拒绝原因;
  • 安全标签;
  • 任务类型;
  • 数据来源。

偏好数据既可以来自人工标注,也可以来自专家评价、模型辅助评价和规则验证。

但不同来源的偏好信号质量可能存在差异,需要进行质量控制。

4. 从 SFT 到偏好对齐的整体关系

flowchart TB
    A["大规模预训练"] --> B["基础模型"]
    B --> C["SFT 监督微调"]
    C --> D["指令模型"]
    D --> E["生成多个候选回答"]
    E --> F["人工或模型偏好评估"]
    F --> G["构造偏好数据"]
    G --> H["RLHF 或 DPO"]
    H --> I["偏好对齐模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

三、偏好数据如何构造?

偏好数据是 RLHF 和 DPO 的共同基础。

数据质量直接影响模型最终学习到的偏好方向。

1. 候选回答生成

首先使用一个已经经过 SFT 的模型,针对同一个输入生成多个候选回答。

例如:

Prompt:
请解释 TCP 三次握手。

模型生成:

回答 A:
TCP 三次握手包括 SYN、SYN-ACK 和 ACK 三个阶段,
用于建立客户端与服务器之间的连接。
回答 B:
TCP 通过发送 SYN、SYN-ACK 和 ACK 完成连接建立,
并在此过程中协商初始序列号等连接参数。
回答 C:
TCP 连接建立时,客户端发送 SYN,服务器响应 ACK,
然后客户端确认连接。

候选回答的生成策略会影响偏好数据的质量。

如果所有候选回答都非常相似,标注者很难提供有价值的区分信息。

因此,数据构造时通常需要一定的回答多样性。

2. 人类偏好标注

人工标注者对候选回答进行比较。

常见标注方式:

二元比较

直接选择两个回答中更好的一个。

多候选排序

对多个候选回答进行排序。

等级评分

分别对准确性、完整性、安全性和表达质量进行评分。

维度评价

针对不同评价维度分别标注偏好。

二元比较是经典偏好训练中非常常见的数据形式。

3. 偏好标注标准

偏好不能只依赖主观印象,通常需要建立明确的评价标准。

维度 评价重点
正确性 是否存在事实错误
完整性 是否覆盖核心问题
相关性 是否紧扣用户需求
清晰度 表达是否容易理解
指令遵循 是否满足格式和约束
安全性 是否存在有害内容
简洁性 是否存在不必要的冗余

不同任务的评价权重可能不同。

例如,代码生成任务更重视代码正确性和可执行性;创意写作任务则可能更重视表达质量和创造性。

4. 偏好数据的噪声

人类标注并不总是一致。

例如:

  • 不同标注者的知识水平不同;
  • 对回答长度的偏好不同;
  • 对专业术语的理解不同;
  • 对风险和安全的判断不同;
  • 对同一问题可能存在多个合理答案。

因此,偏好数据可能存在噪声和主观性。

常见质量控制方法包括:

  • 制定统一标注规范;
  • 使用多个标注者交叉评价;
  • 对分歧样本进行复核;
  • 过滤低置信度样本;
  • 记录标注者之间的一致性;
  • 使用专家验证高风险领域数据。

四、RLHF:基于人类反馈的强化学习

RLHF 是大语言模型对齐技术的重要路线。

经典 RLHF 通常采用三个主要阶段:

  1. 监督微调(SFT)。
  2. 奖励模型训练(Reward Modeling)。
  3. 强化学习优化(通常使用 PPO)。

其核心思想是:

先通过人类偏好数据训练一个奖励模型,让它能够评价回答质量,再通过强化学习让语言模型倾向于生成高奖励回答。

1. RLHF 的整体架构

flowchart TB
    A["预训练基础模型"] --> B["SFT 监督微调"]
    B --> C["SFT 模型"]
    C --> D["生成多个候选回答"]
    D --> E["人类偏好标注"]
    E --> F["偏好数据集"]
    F --> G["训练奖励模型"]
    C --> H["策略模型初始化"]
    H --> I["生成回答"]
    I --> J["奖励模型评分"]
    J --> K["KL 惩罚与奖励计算"]
    K --> L["PPO 更新策略模型"]
    L --> I
    L --> M["对齐后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#E5F0E9,stroke:#83A995,color:#315D49

图中策略模型负责生成回答,奖励模型负责评价回答,PPO 根据奖励信号调整策略模型。

在实际训练中,奖励模型通常保持冻结,策略模型持续更新;还会使用参考模型约束策略模型不要偏离初始 SFT 模型过远。


五、奖励模型(Reward Model)

奖励模型是经典 RLHF 中的核心组件。

它的任务不是直接生成回答,而是对给定输入和回答进行评分。

1. 奖励模型的输入与输出

奖励模型通常接收:

(x,y)

其中:

  • x:用户输入。
  • y:模型回答。

输出一个标量奖励:

r_{\phi}(x,y)\in\mathbb{R}

其中:

  • \phi:奖励模型参数。
  • r_{\phi}:模型预测的奖励值。

例如:

回答 奖励模型输出
回答 A 2.8
回答 B 0.7
回答 C -1.2

这些分数只是示意。

奖励值本身通常没有固定的绝对意义,主要用于比较不同回答的相对优劣。

2. 奖励模型如何训练?

奖励模型使用偏好数据进行训练。

假设:

  • y_w:被偏好的回答。
  • y_l:不被偏好的回答。

希望奖励模型满足:

r_{\phi}(x,y_w)>r_{\phi}(x,y_l)

经典方法之一是使用 Bradley-Terry 偏好模型。

它将回答 y_w 优于 y_l 的概率定义为:

P(y_w\succ y_l\mid x) = \frac{ e^{r_{\phi}(x,y_w)} }{ e^{r_{\phi}(x,y_w)}+ e^{r_{\phi}(x,y_l)} }

通过化简:

P(y_w\succ y_l\mid x) = \sigma \left( r_{\phi}(x,y_w)-r_{\phi}(x,y_l) \right)

其中:

\sigma(z)=\frac{1}{1+e^{-z}}

是 Sigmoid 函数。

这个公式表达了一个重要思想:

奖励模型不需要直接预测人类给出的绝对分数,而是学习被偏好回答与不被偏好回答之间的相对差异。

3. 奖励模型损失函数

对于一个偏好样本,损失函数为:

L_{\text{RM}} = -\log \sigma \left( r_{\phi}(x,y_w)-r_{\phi}(x,y_l) \right)

也可以写为:

L_{\text{RM}} = -\log \frac{ e^{r_{\phi}(x,y_w)} }{ e^{r_{\phi}(x,y_w)}+ e^{r_{\phi}(x,y_l)} }

如果奖励模型给偏好回答更高的分数,损失就会降低。

如果奖励模型错误地给不偏好回答更高的分数,损失就会增加。

对整个数据集:

L_{\text{RM}} = -\mathbb{E}_{(x,y_w,y_l)\sim D} \left[ \log\sigma \left( r_{\phi}(x,y_w)-r_{\phi}(x,y_l) \right) \right]

4. 奖励模型的结构

经典实现中,奖励模型可以从预训练语言模型或 SFT 模型初始化。

将输入和回答拼接后,送入 Transformer,利用最后一个有效 Token 的隐藏状态接一个标量输出头。

简化结构:

flowchart TB
    A["Prompt 与 Response"] --> B["Tokenizer 编码"]
    B --> C["Transformer"]
    C --> D["最后有效 Token 隐藏状态"]
    D --> E["线性奖励头"]
    E --> F["标量奖励"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

奖励模型通常需要专门的评分头,而不是直接使用语言模型的词表输出层。

5. 奖励模型的局限

奖励模型只是对人类偏好的近似建模,并不等于真正理解了回答质量。

它可能出现:

  • 对冗长回答给出更高分;
  • 偏好表面上更自信的表达;
  • 无法准确识别隐蔽事实错误;
  • 被策略模型利用;
  • 对训练分布之外的回答评分不可靠。

尤其需要关注奖励黑客(Reward Hacking)。

当策略模型发现奖励模型的评分规律后,可能学会生成能够获得高分、但实际质量并不高的回答。

这也是 RLHF 需要额外约束和评估的原因。


六、PPO:使用强化学习优化语言模型

奖励模型训练完成后,就可以使用强化学习优化语言模型。

经典 RLHF 通常采用 PPO(Proximal Policy Optimization,近端策略优化)。

1. 将语言模型看作策略模型

强化学习中有几个核心概念:

强化学习概念 大语言模型中的对应关系
Agent 语言模型
Policy Token 生成策略
State 当前输入和已生成上下文
Action 当前生成的 Token
Reward 奖励模型提供的奖励
Episode 一次回答生成过程
Trajectory 完整 Token 生成序列

假设用户输入为:

解释什么是操作系统。

模型逐步生成回答:

操作系统是一种管理计算机硬件和软件资源的系统软件。

每生成一个 Token,都可以看作策略模型执行了一次动作。

因此,语言模型可以被表示为一个自回归策略:

\pi_{\theta}(y_t\mid x,y_{<t})

其中:

  • \theta:策略模型参数。
  • x:用户输入。
  • y_{<t}:已经生成的回答前缀。
  • y_t:当前生成的 Token。

2. 奖励信号从哪里来?

模型生成完整回答后,可以将输入和回答交给奖励模型评分。

例如:

r_{\phi}(x,y)=2.5

但如果只使用奖励模型的最终分数,策略模型可能过度偏离原来的 SFT 模型。

因此,经典 RLHF 通常会引入 KL 惩罚。

3. 为什么需要 KL 惩罚?

假设策略模型不断追求奖励模型给出的高分。

如果没有约束,模型可能逐渐偏离原来的 SFT 模型,产生:

  • 不自然的表达;
  • 重复内容;
  • 异常冗长的回答;
  • 语言能力退化;
  • 利用奖励模型漏洞的行为。

为此,可以使用参考模型(Reference Model)约束策略模型。

参考模型通常是 SFT 模型的冻结副本。

定义策略模型与参考模型之间的 KL 散度:

D_{\mathrm{KL}} \left( \pi_{\theta}(\cdot\mid s) \parallel \pi_{\mathrm{ref}}(\cdot\mid s) \right)

KL 散度衡量两个概率分布之间的差异。

对于离散分布:

D_{\mathrm{KL}}(P\parallel Q) = \sum_i P(i)\log\frac{P(i)}{Q(i)}

在语言模型训练中,KL 惩罚通常用于约束策略模型不要偏离参考模型过远。

4. RLHF 的优化目标

可以将目标抽象为:

\max_{\pi_{\theta}} \mathbb{E}_{x\sim D,y\sim\pi_{\theta}(\cdot\mid x)} \left[ r_{\phi}(x,y) - \beta D_{\mathrm{KL}} \left( \pi_{\theta}(\cdot\mid x) \parallel \pi_{\mathrm{ref}}(\cdot\mid x) \right) \right]

其中:

  • r_{\phi}(x,y):奖励模型给出的奖励。
  • \pi_{\theta}:当前策略模型。
  • \pi_{\mathrm{ref}}:参考模型。
  • \beta:KL 惩罚系数。

这个目标表达了两个相互制衡的方向:

  1. 提高回答的奖励。
  2. 控制模型不要过度偏离参考模型。

\beta 越大,通常意味着对策略偏离的惩罚越强;越小则允许模型进行更大幅度的策略调整。

实际 PPO 实现可能采用逐 Token KL 估计、奖励塑形和其他训练细节,并不一定直接计算完整词表上的精确 KL 散度。


七、PPO 的核心数学机制

PPO 的主要目标是稳定地更新策略模型,避免一次更新导致策略变化过大。

1. 策略概率比

假设:

  • \pi_{\theta_{\text{old}}:更新前的策略。
  • \pi_{\theta}:当前待优化策略。

对于一个动作 Token,定义概率比:

\rho_t(\theta) = \frac{ \pi_{\theta}(a_t\mid s_t) }{ \pi_{\theta_{\text{old}}}(a_t\mid s_t) }

其中:

  • s_t:当前上下文状态。
  • a_t:当前生成的 Token。

这个比值反映了新策略相对于旧策略,对某个动作的概率变化程度。

2. Advantage 优势函数

奖励模型通常提供最终回答级别的评价,但 PPO 需要估计每一步动作对最终结果的贡献。

这时需要使用 Advantage(优势函数)。

A_t=Q(s_t,a_t)-V(s_t)

其中:

  • Q(s_t,a_t):在状态 s_t 执行动作 a_t 后的预期回报。
  • V(s_t):处于状态 s_t 时的基准价值。

直观理解:

  • A_t>0:当前动作比预期更好。
  • A_t<0:当前动作比预期更差。
  • A_t\approx0:当前动作与基准水平接近。

在 PPO 中,通常使用优势估计指导策略更新。

3. PPO Clipped Objective

PPO 的经典裁剪目标为:

L^{\text{CLIP}}(\theta) = \mathbb{E}_t \left[ \min \left( \rho_t(\theta)A_t, \operatorname{clip} (\rho_t(\theta),1-\epsilon,1+\epsilon)A_t \right) \right]

其中:

  • \rho_t(\theta):新旧策略概率比。
  • A_t:优势估计。
  • \epsilon:裁剪范围。

裁剪操作限制策略概率比在一定范围内变化,降低策略更新幅度过大的风险。

例如:

假设:

\epsilon=0.2

那么概率比通常会被限制在:

[0.8,1.2]

需要注意,PPO 的裁剪目标并不是对策略概率进行简单截断,而是通过目标函数中的 min 操作限制过大的优化收益。

4. PPO 为什么适合策略优化?

传统策略梯度方法可能因为单次更新过大而导致策略性能不稳定。

PPO 通过裁剪目标限制更新幅度,通常比早期一些策略优化方法更容易实现和调试。

但 PPO 并不保证训练一定稳定。

在大语言模型场景中,仍然需要处理:

  • 奖励模型质量;
  • KL 惩罚系数;
  • 优势估计;
  • 价值模型训练;
  • Batch Size;
  • 学习率;
  • 生成长度;
  • 分布式训练和采样效率。

5. PPO 在 RLHF 中的主要模型组件

经典 PPO-RLHF 通常包含以下组件:

组件 作用 是否更新
Policy Model 生成回答 是
Reference Model 约束策略偏移 否
Reward Model 对回答评分 通常否
Value Model / Critic 估计状态价值 是

Policy Model 和 Value Model 可以采用独立模型,也可以通过共享部分网络结构的方式实现。


八、RLHF-PPO 的完整训练流程

将奖励模型、策略模型和 PPO 组合起来,可以得到经典 RLHF 训练流程。

flowchart TB
    A["加载 SFT 策略模型"] --> B["复制参考模型"]
    A --> C["初始化 Value Model"]
    D["训练完成的 Reward Model"] --> F["奖励评估"]
    E["Prompt Batch"] --> G["策略模型生成回答"]
    G --> F
    B --> H["计算 KL 惩罚"]
    F --> I["构造训练奖励"]
    H --> I
    I --> J["计算 Advantage"]
    C --> J
    J --> K["PPO Clipped Objective"]
    K --> L["更新 Policy Model"]
    K --> M["更新 Value Model"]
    L --> N{"是否继续训练"}
    M --> N
    N -->|"是"| E
    N -->|"否"| O["得到 RLHF 对齐模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style O fill:#E5F0E9,stroke:#83A995,color:#315D49

典型训练步骤:

  1. 从 Prompt 数据集中采样输入。
  2. Policy Model 根据输入生成回答。
  3. Reward Model 对回答进行评分。
  4. Reference Model 用于计算策略偏离程度。
  5. 综合奖励和 KL 惩罚构造训练信号。
  6. Value Model 估计状态价值。
  7. 计算 Advantage。
  8. 使用 PPO 更新 Policy Model。
  9. 根据训练策略更新 Value Model。
  10. 重复采样和优化。

1. 为什么需要 Value Model?

PPO 通常需要一个 Critic(评论家)来估计状态价值。

语言模型生成一个回答时,可能包含数百甚至数千个 Token。

如果只知道最终回答的奖励,就很难直接判断每一个 Token 对结果的贡献。

Value Model 通过估计状态价值,为 Advantage 计算提供基准。

2. 为什么 RLHF 计算成本高?

经典 RLHF-PPO 可能同时需要:

  • 策略模型;
  • 参考模型;
  • 奖励模型;
  • 价值模型。

这些模型可能都具有较大的参数量。

此外,还需要进行:

  • 多轮文本生成;
  • 奖励模型推理;
  • 价值估计;
  • 策略梯度计算;
  • 分布式参数更新。

因此,经典 PPO-RLHF 的训练系统通常比普通 SFT 更复杂,显存、计算和通信开销也更高。


九、DPO:直接偏好优化

DPO(Direct Preference Optimization)是另一种重要的偏好对齐方法。

它的核心思想是:

不再单独训练奖励模型,再通过 PPO 优化策略,而是直接利用偏好数据优化语言模型。

DPO 的关键在于,它从带 KL 约束的奖励最大化目标出发,推导出策略概率与奖励之间的关系,进而构造一个可以直接使用偏好数据训练的目标函数。

1. DPO 解决什么问题?

经典 RLHF-PPO 需要维护多个模型组件:

  • 策略模型;
  • 参考模型;
  • 奖励模型;
  • 价值模型。

而 DPO 不需要单独训练奖励模型,也不需要训练 PPO 中的 Value Model。

它直接使用:

(x,y_w,y_l)

这样的偏好数据进行优化。

其中:

  • x:输入指令。
  • y_w:偏好回答。
  • y_l:不偏好回答。

训练目标是提高偏好回答相对于不偏好回答的概率。

2. DPO 的核心思想

DPO 并不是简单地要求:

P_{\theta}(y_w\mid x) > P_{\theta}(y_l\mid x)

因为如果只是不断提高偏好回答的概率,模型可能出现过度偏移。

DPO 引入参考模型,比较当前策略和参考策略对两个回答的相对概率变化。

其核心形式是:

\log \frac{P_{\theta}(y_w\mid x)} {P_{\text{ref}}(y_w\mid x)} - \log \frac{P_{\theta}(y_l\mid x)} {P_{\text{ref}}(y_l\mid x)}

它关注的是:

当前模型相对于参考模型,是否更加倾向于偏好回答,而不是不偏好回答。


十、DPO 的数学原理与推导

DPO 最重要的部分是从带 KL 约束的奖励优化目标推导出直接偏好优化损失。

1. 从奖励最大化开始

假设我们希望找到一个策略 \pi,使其在输入 x 下生成的回答获得更高奖励。

同时,为了避免策略过度偏离参考模型 \pi_{\text{ref}},引入 KL 惩罚:

\max_{\pi} \mathbb{E}_{y\sim\pi(\cdot\mid x)} [r(x,y)] - \beta D_{\mathrm{KL}} \left( \pi(\cdot\mid x) \parallel \pi_{\text{ref}}(\cdot\mid x) \right)

其中:

  • r(x,y):回答奖励。
  • \pi:待优化策略。
  • \pi_{\text{ref}}:参考策略。
  • \beta:KL 正则化系数。

这个目标同时考虑奖励和策略偏移。

2. 推导最优策略

将 KL 散度展开:

D_{\mathrm{KL}}(\pi\parallel\pi_{\text{ref}}) = \sum_y \pi(y\mid x) \log \frac{\pi(y\mid x)} {\pi_{\text{ref}}(y\mid x)}

代入目标函数:

\max_{\pi} \sum_y\pi(y\mid x)r(x,y) - \beta \sum_y \pi(y\mid x) \log \frac{\pi(y\mid x)} {\pi_{\text{ref}}(y\mid x)}

同时满足概率归一化约束:

\sum_y\pi(y\mid x)=1

使用拉格朗日乘子求解,可以得到最优策略:

\pi^*(y\mid x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y\mid x) \exp\left(\frac{r(x,y)}{\beta}\right)

其中:

Z(x) = \sum_y \pi_{\text{ref}}(y\mid x) \exp\left(\frac{r(x,y)}{\beta}\right)

Z(x) 是归一化因子,也可以理解为配分函数。

3. 从最优策略反推出奖励

对最优策略公式取对数:

\log\pi^*(y\mid x) = \log\pi_{\text{ref}}(y\mid x) + \frac{r(x,y)}{\beta} - \log Z(x)

整理得到:

r(x,y) = \beta \log \frac{\pi^*(y\mid x)} {\pi_{\text{ref}}(y\mid x)} + \beta\log Z(x)

这个公式非常关键。

它说明,在上述 KL 正则化奖励最大化框架下,奖励可以通过最优策略与参考策略之间的对数概率比表示,外加只依赖输入 x 的归一化项。

DPO 正是利用这一关系,避免显式训练奖励模型。

4. 构造偏好概率

经典 Bradley-Terry 模型假设:

P(y_w\succ y_l\mid x) = \sigma \left( r(x,y_w)-r(x,y_l) \right)

将前面的奖励表达式代入。

由于两个回答具有相同的输入 x,归一化项 \beta\log Z(x) 会相互抵消。

因此:

P(y_w\succ y_l\mid x) = \sigma \left( \beta \log \frac{\pi^*(y_w\mid x)} {\pi_{\text{ref}}(y_w\mid x)} - \beta \log \frac{\pi^*(y_l\mid x)} {\pi_{\text{ref}}(y_l\mid x)} \right)

将待优化的策略 \pi^* 替换为参数化模型 \pi_{\theta},就得到 DPO 的偏好概率模型。

5. DPO 损失函数

最终得到:

\boxed{ L_{\text{DPO}} = -\mathbb{E}_{(x,y_w,y_l)\sim D} \left[ \log\sigma \left( \beta \log \frac{\pi_{\theta}(y_w\mid x)} {\pi_{\text{ref}}(y_w\mid x)} - \beta \log \frac{\pi_{\theta}(y_l\mid x)} {\pi_{\text{ref}}(y_l\mid x)} \right) \right] }