一、什么是大语言模型对齐?
预训练让大语言模型具备语言建模、知识关联和文本生成能力,SFT 让模型学会理解指令并按照要求生成回答。
但这并不意味着模型生成的回答一定符合人类偏好。
例如,用户提出:
请解释什么是数据库索引。
模型可能生成两种回答:
回答 A:
数据库索引是一种用于加速数据查询的数据结构。它通过维护额外的索引信息,减少查询时需要扫描的数据量。常见索引结构包括 B+ 树和哈希索引。
回答 B:
数据库索引是一种数据库里面的东西,可以帮助数据库运行得更快。它很重要,能够提升数据库性能。
两种回答都试图解释数据库索引,但回答 A 更准确、具体,信息组织也更加清晰。
如果只使用 SFT,模型通常学习模仿训练数据中的标准回答。但当一个问题存在多个合理答案时,单纯的监督学习很难完整表达不同答案之间的偏好关系。
这就是偏好对齐(Preference Alignment)需要解决的问题。
1. 什么是对齐?
大语言模型对齐,是指通过训练和其他约束机制,使模型的输出行为更加符合预期目标。
常见目标包括:
- 有用性(Helpfulness):回答能够真正解决问题。
- 真实性(Truthfulness):尽可能减少错误信息。
- 安全性(Safety):避免生成有害内容。
- 指令遵循(Instruction Following):按照用户要求完成任务。
- 表达质量(Response Quality):回答清晰、准确、结构合理。
- 偏好一致性(Preference Consistency):在多个合理回答中倾向于更受偏好的回答。
需要注意,对齐并不意味着模型能够保证所有回答都正确,也不意味着人类偏好天然等于客观事实。
模型学习的是特定数据、标注标准和奖励机制所表达的偏好。
2. RLHF 与 DPO 是什么?
RLHF 和 DPO 都可以用于基于偏好数据优化语言模型,但二者采用不同的优化路径。
RLHF(Reinforcement Learning from Human Feedback)
中文通常称为基于人类反馈的强化学习。
经典 RLHF 流程通常包括:
- 使用 SFT 模型生成多个候选回答。
- 人类对候选回答进行比较和排序。
- 使用偏好数据训练奖励模型。
- 使用强化学习算法(如 PPO)优化语言模型。
- 根据奖励信号调整模型行为。
DPO(Direct Preference Optimization)
中文通常称为直接偏好优化。
DPO 直接使用偏好数据优化语言模型,不需要单独训练一个奖励模型,也不需要像经典 RLHF-PPO 流程那样进行在线强化学习。
两者的核心差异:
| 对比维度 | RLHF(经典 PPO 路线) | DPO |
|---|---|---|
| 偏好数据 | 需要 | 需要 |
| 奖励模型 | 通常需要 | 不需要单独训练 |
| 强化学习 | 使用 PPO 等算法 | 不需要传统 PPO 流程 |
| 参考模型 | 通常需要 | 通常需要 |
| 优化方式 | 奖励驱动的策略优化 | 偏好对直接优化 |
| 工程复杂度 | 通常较高 | 通常较低 |
| 训练稳定性 | 需要处理 RL 稳定性问题 | 通常更容易实现 |
| 适用场景 | 复杂奖励优化、在线交互等 | 离线偏好数据优化 |
这里的 RLHF 特指经典的奖励模型加 PPO 路线。广义 RLHF 也可以包含其他基于人类反馈的强化学习方法,DPO 则是一种直接偏好优化方法。
二、从 SFT 到偏好对齐
理解 RLHF 和 DPO,需要先明确 SFT 的能力边界。
1. SFT 学习的是目标回答
SFT 数据通常采用:
其中:
- x_i:输入指令。
- y_i:目标回答。
- N:训练样本数量。
模型通过最大化目标回答的条件概率进行训练:
对应的负对数似然损失:
SFT 的核心是模仿给定的目标回答。
2. 偏好数据表达的是相对优劣
偏好数据与 SFT 数据不同。
SFT 通常告诉模型:
这个问题应该如何回答。
偏好数据则告诉模型:
对于同一个问题,哪个回答更值得选择。
例如:
输入:
解释一下数据库索引。
候选回答 A:
数据库索引是一种辅助数据结构,可以减少查询时的数据扫描范围。
常见索引结构包括 B+ 树和哈希索引。
候选回答 B:
数据库索引就是数据库里面的一种功能。
人工标注者认为 A 优于 B。
这条偏好数据可以表示为:
其中:
- x:输入问题。
- y_w:被偏好的回答(Winner)。
- y_l:不被偏好的回答(Loser)。
模型不再只学习一个标准答案,而是学习回答之间的相对偏好关系。
3. 偏好数据的基本形式
常见偏好数据结构:
{
"prompt": "解释一下数据库索引",
"chosen": "数据库索引是一种辅助数据结构,可以加速数据查询。",
"rejected": "数据库索引就是数据库中的一种功能。"
}
实际数据集还可能包含:
- 标注者信息;
- 评分;
- 多个候选回答;
- 拒绝原因;
- 安全标签;
- 任务类型;
- 数据来源。
偏好数据既可以来自人工标注,也可以来自专家评价、模型辅助评价和规则验证。
但不同来源的偏好信号质量可能存在差异,需要进行质量控制。
4. 从 SFT 到偏好对齐的整体关系
flowchart TB
A["大规模预训练"] --> B["基础模型"]
B --> C["SFT 监督微调"]
C --> D["指令模型"]
D --> E["生成多个候选回答"]
E --> F["人工或模型偏好评估"]
F --> G["构造偏好数据"]
G --> H["RLHF 或 DPO"]
H --> I["偏好对齐模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
三、偏好数据如何构造?
偏好数据是 RLHF 和 DPO 的共同基础。
数据质量直接影响模型最终学习到的偏好方向。
1. 候选回答生成
首先使用一个已经经过 SFT 的模型,针对同一个输入生成多个候选回答。
例如:
Prompt:
请解释 TCP 三次握手。
模型生成:
回答 A:
TCP 三次握手包括 SYN、SYN-ACK 和 ACK 三个阶段,
用于建立客户端与服务器之间的连接。
回答 B:
TCP 通过发送 SYN、SYN-ACK 和 ACK 完成连接建立,
并在此过程中协商初始序列号等连接参数。
回答 C:
TCP 连接建立时,客户端发送 SYN,服务器响应 ACK,
然后客户端确认连接。
候选回答的生成策略会影响偏好数据的质量。
如果所有候选回答都非常相似,标注者很难提供有价值的区分信息。
因此,数据构造时通常需要一定的回答多样性。
2. 人类偏好标注
人工标注者对候选回答进行比较。
常见标注方式:
二元比较
直接选择两个回答中更好的一个。
多候选排序
对多个候选回答进行排序。
等级评分
分别对准确性、完整性、安全性和表达质量进行评分。
维度评价
针对不同评价维度分别标注偏好。
二元比较是经典偏好训练中非常常见的数据形式。
3. 偏好标注标准
偏好不能只依赖主观印象,通常需要建立明确的评价标准。
| 维度 | 评价重点 |
|---|---|
| 正确性 | 是否存在事实错误 |
| 完整性 | 是否覆盖核心问题 |
| 相关性 | 是否紧扣用户需求 |
| 清晰度 | 表达是否容易理解 |
| 指令遵循 | 是否满足格式和约束 |
| 安全性 | 是否存在有害内容 |
| 简洁性 | 是否存在不必要的冗余 |
不同任务的评价权重可能不同。
例如,代码生成任务更重视代码正确性和可执行性;创意写作任务则可能更重视表达质量和创造性。
4. 偏好数据的噪声
人类标注并不总是一致。
例如:
- 不同标注者的知识水平不同;
- 对回答长度的偏好不同;
- 对专业术语的理解不同;
- 对风险和安全的判断不同;
- 对同一问题可能存在多个合理答案。
因此,偏好数据可能存在噪声和主观性。
常见质量控制方法包括:
- 制定统一标注规范;
- 使用多个标注者交叉评价;
- 对分歧样本进行复核;
- 过滤低置信度样本;
- 记录标注者之间的一致性;
- 使用专家验证高风险领域数据。
四、RLHF:基于人类反馈的强化学习
RLHF 是大语言模型对齐技术的重要路线。
经典 RLHF 通常采用三个主要阶段:
- 监督微调(SFT)。
- 奖励模型训练(Reward Modeling)。
- 强化学习优化(通常使用 PPO)。
其核心思想是:
先通过人类偏好数据训练一个奖励模型,让它能够评价回答质量,再通过强化学习让语言模型倾向于生成高奖励回答。
1. RLHF 的整体架构
flowchart TB
A["预训练基础模型"] --> B["SFT 监督微调"]
B --> C["SFT 模型"]
C --> D["生成多个候选回答"]
D --> E["人类偏好标注"]
E --> F["偏好数据集"]
F --> G["训练奖励模型"]
C --> H["策略模型初始化"]
H --> I["生成回答"]
I --> J["奖励模型评分"]
J --> K["KL 惩罚与奖励计算"]
K --> L["PPO 更新策略模型"]
L --> I
L --> M["对齐后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
图中策略模型负责生成回答,奖励模型负责评价回答,PPO 根据奖励信号调整策略模型。
在实际训练中,奖励模型通常保持冻结,策略模型持续更新;还会使用参考模型约束策略模型不要偏离初始 SFT 模型过远。
五、奖励模型(Reward Model)
奖励模型是经典 RLHF 中的核心组件。
它的任务不是直接生成回答,而是对给定输入和回答进行评分。
1. 奖励模型的输入与输出
奖励模型通常接收:
其中:
- x:用户输入。
- y:模型回答。
输出一个标量奖励:
其中:
- \phi:奖励模型参数。
- r_{\phi}:模型预测的奖励值。
例如:
| 回答 | 奖励模型输出 |
|---|---|
| 回答 A | 2.8 |
| 回答 B | 0.7 |
| 回答 C | -1.2 |
这些分数只是示意。
奖励值本身通常没有固定的绝对意义,主要用于比较不同回答的相对优劣。
2. 奖励模型如何训练?
奖励模型使用偏好数据进行训练。
假设:
- y_w:被偏好的回答。
- y_l:不被偏好的回答。
希望奖励模型满足:
经典方法之一是使用 Bradley-Terry 偏好模型。
它将回答 y_w 优于 y_l 的概率定义为:
通过化简:
其中:
是 Sigmoid 函数。
这个公式表达了一个重要思想:
奖励模型不需要直接预测人类给出的绝对分数,而是学习被偏好回答与不被偏好回答之间的相对差异。
3. 奖励模型损失函数
对于一个偏好样本,损失函数为:
也可以写为:
如果奖励模型给偏好回答更高的分数,损失就会降低。
如果奖励模型错误地给不偏好回答更高的分数,损失就会增加。
对整个数据集:
4. 奖励模型的结构
经典实现中,奖励模型可以从预训练语言模型或 SFT 模型初始化。
将输入和回答拼接后,送入 Transformer,利用最后一个有效 Token 的隐藏状态接一个标量输出头。
简化结构:
flowchart TB
A["Prompt 与 Response"] --> B["Tokenizer 编码"]
B --> C["Transformer"]
C --> D["最后有效 Token 隐藏状态"]
D --> E["线性奖励头"]
E --> F["标量奖励"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
奖励模型通常需要专门的评分头,而不是直接使用语言模型的词表输出层。
5. 奖励模型的局限
奖励模型只是对人类偏好的近似建模,并不等于真正理解了回答质量。
它可能出现:
- 对冗长回答给出更高分;
- 偏好表面上更自信的表达;
- 无法准确识别隐蔽事实错误;
- 被策略模型利用;
- 对训练分布之外的回答评分不可靠。
尤其需要关注奖励黑客(Reward Hacking)。
当策略模型发现奖励模型的评分规律后,可能学会生成能够获得高分、但实际质量并不高的回答。
这也是 RLHF 需要额外约束和评估的原因。
六、PPO:使用强化学习优化语言模型
奖励模型训练完成后,就可以使用强化学习优化语言模型。
经典 RLHF 通常采用 PPO(Proximal Policy Optimization,近端策略优化)。
1. 将语言模型看作策略模型
强化学习中有几个核心概念:
| 强化学习概念 | 大语言模型中的对应关系 |
|---|---|
| Agent | 语言模型 |
| Policy | Token 生成策略 |
| State | 当前输入和已生成上下文 |
| Action | 当前生成的 Token |
| Reward | 奖励模型提供的奖励 |
| Episode | 一次回答生成过程 |
| Trajectory | 完整 Token 生成序列 |
假设用户输入为:
解释什么是操作系统。
模型逐步生成回答:
操作系统是一种管理计算机硬件和软件资源的系统软件。
每生成一个 Token,都可以看作策略模型执行了一次动作。
因此,语言模型可以被表示为一个自回归策略:
其中:
- \theta:策略模型参数。
- x:用户输入。
- y_{<t}:已经生成的回答前缀。
- y_t:当前生成的 Token。
2. 奖励信号从哪里来?
模型生成完整回答后,可以将输入和回答交给奖励模型评分。
例如:
但如果只使用奖励模型的最终分数,策略模型可能过度偏离原来的 SFT 模型。
因此,经典 RLHF 通常会引入 KL 惩罚。
3. 为什么需要 KL 惩罚?
假设策略模型不断追求奖励模型给出的高分。
如果没有约束,模型可能逐渐偏离原来的 SFT 模型,产生:
- 不自然的表达;
- 重复内容;
- 异常冗长的回答;
- 语言能力退化;
- 利用奖励模型漏洞的行为。
为此,可以使用参考模型(Reference Model)约束策略模型。
参考模型通常是 SFT 模型的冻结副本。
定义策略模型与参考模型之间的 KL 散度:
KL 散度衡量两个概率分布之间的差异。
对于离散分布:
在语言模型训练中,KL 惩罚通常用于约束策略模型不要偏离参考模型过远。
4. RLHF 的优化目标
可以将目标抽象为:
其中:
- r_{\phi}(x,y):奖励模型给出的奖励。
- \pi_{\theta}:当前策略模型。
- \pi_{\mathrm{ref}}:参考模型。
- \beta:KL 惩罚系数。
这个目标表达了两个相互制衡的方向:
- 提高回答的奖励。
- 控制模型不要过度偏离参考模型。
\beta 越大,通常意味着对策略偏离的惩罚越强;越小则允许模型进行更大幅度的策略调整。
实际 PPO 实现可能采用逐 Token KL 估计、奖励塑形和其他训练细节,并不一定直接计算完整词表上的精确 KL 散度。
七、PPO 的核心数学机制
PPO 的主要目标是稳定地更新策略模型,避免一次更新导致策略变化过大。
1. 策略概率比
假设:
- \pi_{\theta_{\text{old}}:更新前的策略。
- \pi_{\theta}:当前待优化策略。
对于一个动作 Token,定义概率比:
其中:
- s_t:当前上下文状态。
- a_t:当前生成的 Token。
这个比值反映了新策略相对于旧策略,对某个动作的概率变化程度。
2. Advantage 优势函数
奖励模型通常提供最终回答级别的评价,但 PPO 需要估计每一步动作对最终结果的贡献。
这时需要使用 Advantage(优势函数)。
其中:
- Q(s_t,a_t):在状态 s_t 执行动作 a_t 后的预期回报。
- V(s_t):处于状态 s_t 时的基准价值。
直观理解:
- A_t>0:当前动作比预期更好。
- A_t<0:当前动作比预期更差。
- A_t\approx0:当前动作与基准水平接近。
在 PPO 中,通常使用优势估计指导策略更新。
3. PPO Clipped Objective
PPO 的经典裁剪目标为:
其中:
- \rho_t(\theta):新旧策略概率比。
- A_t:优势估计。
- \epsilon:裁剪范围。
裁剪操作限制策略概率比在一定范围内变化,降低策略更新幅度过大的风险。
例如:
假设:
那么概率比通常会被限制在:
需要注意,PPO 的裁剪目标并不是对策略概率进行简单截断,而是通过目标函数中的 min 操作限制过大的优化收益。
4. PPO 为什么适合策略优化?
传统策略梯度方法可能因为单次更新过大而导致策略性能不稳定。
PPO 通过裁剪目标限制更新幅度,通常比早期一些策略优化方法更容易实现和调试。
但 PPO 并不保证训练一定稳定。
在大语言模型场景中,仍然需要处理:
- 奖励模型质量;
- KL 惩罚系数;
- 优势估计;
- 价值模型训练;
- Batch Size;
- 学习率;
- 生成长度;
- 分布式训练和采样效率。
5. PPO 在 RLHF 中的主要模型组件
经典 PPO-RLHF 通常包含以下组件:
| 组件 | 作用 | 是否更新 |
|---|---|---|
| Policy Model | 生成回答 | 是 |
| Reference Model | 约束策略偏移 | 否 |
| Reward Model | 对回答评分 | 通常否 |
| Value Model / Critic | 估计状态价值 | 是 |
Policy Model 和 Value Model 可以采用独立模型,也可以通过共享部分网络结构的方式实现。
八、RLHF-PPO 的完整训练流程
将奖励模型、策略模型和 PPO 组合起来,可以得到经典 RLHF 训练流程。
flowchart TB
A["加载 SFT 策略模型"] --> B["复制参考模型"]
A --> C["初始化 Value Model"]
D["训练完成的 Reward Model"] --> F["奖励评估"]
E["Prompt Batch"] --> G["策略模型生成回答"]
G --> F
B --> H["计算 KL 惩罚"]
F --> I["构造训练奖励"]
H --> I
I --> J["计算 Advantage"]
C --> J
J --> K["PPO Clipped Objective"]
K --> L["更新 Policy Model"]
K --> M["更新 Value Model"]
L --> N{"是否继续训练"}
M --> N
N -->|"是"| E
N -->|"否"| O["得到 RLHF 对齐模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style O fill:#E5F0E9,stroke:#83A995,color:#315D49
典型训练步骤:
- 从 Prompt 数据集中采样输入。
- Policy Model 根据输入生成回答。
- Reward Model 对回答进行评分。
- Reference Model 用于计算策略偏离程度。
- 综合奖励和 KL 惩罚构造训练信号。
- Value Model 估计状态价值。
- 计算 Advantage。
- 使用 PPO 更新 Policy Model。
- 根据训练策略更新 Value Model。
- 重复采样和优化。
1. 为什么需要 Value Model?
PPO 通常需要一个 Critic(评论家)来估计状态价值。
语言模型生成一个回答时,可能包含数百甚至数千个 Token。
如果只知道最终回答的奖励,就很难直接判断每一个 Token 对结果的贡献。
Value Model 通过估计状态价值,为 Advantage 计算提供基准。
2. 为什么 RLHF 计算成本高?
经典 RLHF-PPO 可能同时需要:
- 策略模型;
- 参考模型;
- 奖励模型;
- 价值模型。
这些模型可能都具有较大的参数量。
此外,还需要进行:
- 多轮文本生成;
- 奖励模型推理;
- 价值估计;
- 策略梯度计算;
- 分布式参数更新。
因此,经典 PPO-RLHF 的训练系统通常比普通 SFT 更复杂,显存、计算和通信开销也更高。
九、DPO:直接偏好优化
DPO(Direct Preference Optimization)是另一种重要的偏好对齐方法。
它的核心思想是:
不再单独训练奖励模型,再通过 PPO 优化策略,而是直接利用偏好数据优化语言模型。
DPO 的关键在于,它从带 KL 约束的奖励最大化目标出发,推导出策略概率与奖励之间的关系,进而构造一个可以直接使用偏好数据训练的目标函数。
1. DPO 解决什么问题?
经典 RLHF-PPO 需要维护多个模型组件:
- 策略模型;
- 参考模型;
- 奖励模型;
- 价值模型。
而 DPO 不需要单独训练奖励模型,也不需要训练 PPO 中的 Value Model。
它直接使用:
这样的偏好数据进行优化。
其中:
- x:输入指令。
- y_w:偏好回答。
- y_l:不偏好回答。
训练目标是提高偏好回答相对于不偏好回答的概率。
2. DPO 的核心思想
DPO 并不是简单地要求:
因为如果只是不断提高偏好回答的概率,模型可能出现过度偏移。
DPO 引入参考模型,比较当前策略和参考策略对两个回答的相对概率变化。
其核心形式是:
它关注的是:
当前模型相对于参考模型,是否更加倾向于偏好回答,而不是不偏好回答。
十、DPO 的数学原理与推导
DPO 最重要的部分是从带 KL 约束的奖励优化目标推导出直接偏好优化损失。
1. 从奖励最大化开始
假设我们希望找到一个策略 \pi,使其在输入 x 下生成的回答获得更高奖励。
同时,为了避免策略过度偏离参考模型 \pi_{\text{ref}},引入 KL 惩罚:
其中:
- r(x,y):回答奖励。
- \pi:待优化策略。
- \pi_{\text{ref}}:参考策略。
- \beta:KL 正则化系数。
这个目标同时考虑奖励和策略偏移。
2. 推导最优策略
将 KL 散度展开:
代入目标函数:
同时满足概率归一化约束:
使用拉格朗日乘子求解,可以得到最优策略:
其中:
Z(x) 是归一化因子,也可以理解为配分函数。
3. 从最优策略反推出奖励
对最优策略公式取对数:
整理得到:
这个公式非常关键。
它说明,在上述 KL 正则化奖励最大化框架下,奖励可以通过最优策略与参考策略之间的对数概率比表示,外加只依赖输入 x 的归一化项。
DPO 正是利用这一关系,避免显式训练奖励模型。
4. 构造偏好概率
经典 Bradley-Terry 模型假设:
将前面的奖励表达式代入。
由于两个回答具有相同的输入 x,归一化项 \beta\log Z(x) 会相互抵消。
因此:
将待优化的策略 \pi^* 替换为参数化模型 \pi_{\theta},就得到 DPO 的偏好概率模型。
5. DPO 损失函数
最终得到: