一、为什么大语言模型需要采样策略?
大语言模型通常采用自回归方式生成文本。
模型每次根据已有上下文,预测下一个 Token 的概率分布,再从候选 Token 中选择一个作为输出。
假设当前上下文为:
今天天气非常
模型可能得到如下候选概率:
| 候选 Token | 概率 |
|---|---|
| 好 | 0.55 |
| 不错 | 0.20 |
| 炎热 | 0.12 |
| 寒冷 | 0.08 |
| 糟糕 | 0.05 |
模型并不是直接输出概率最高的 Token,而是可以采用不同策略进行选择。
例如:
- Greedy Decoding:始终选择概率最高的 Token。
- Random Sampling:按照概率分布随机采样。
- Temperature:调整概率分布的尖锐程度。
- Top-K:只保留概率最高的 K 个候选。
- Top-P:只保留累计概率达到指定阈值的候选集合。
这些方法共同决定了模型生成文本时的确定性、多样性和随机性。
二、从 Logits 到 Token 概率分布
理解 Temperature、Top-K 和 Top-P,首先需要理解模型生成 Token 的基本过程。
1. Logits 是什么?
Transformer 完成当前上下文的计算后,会通过输出层得到一个 Logits 向量。
假设模型词表大小为 V,那么 Logits 可以表示为:
其中:
- V:模型词表大小。
- z_i:第 i 个 Token 对应的 Logit。
- Logit:模型对候选 Token 给出的未归一化分数。
Logits 可以是任意实数,不受 0 到 1 的范围限制。
例如:
这些数值并不是概率,不能直接解释为模型选择每个 Token 的可能性。
2. Softmax 将 Logits 转换为概率
为了得到概率分布,需要通过 Softmax 函数进行归一化:
Softmax 具有两个重要性质:
- 每个 Token 的概率都在 0 到 1 之间。
- 所有候选 Token 的概率之和等于 1。
例如:
| Token | Logit | Softmax 概率 |
|---|---|---|
| A | 3.2 | 0.55 |
| B | 2.1 | 0.18 |
| C | 1.5 | 0.10 |
| D | 0.8 | 0.06 |
| E | -0.5 | 0.01 |
| 其他 | — | 0.10 |
Softmax 得到的概率分布,就是后续采样策略处理的基础。
3. Token 选择的整体流程
flowchart TB
A["输入当前上下文"] --> B["Transformer 前向计算"]
B --> C["输出 Logits"]
C --> D["Temperature 调整"]
D --> E["Softmax 概率分布"]
E --> F["Top-K / Top-P 过滤"]
F --> G["重新归一化概率"]
G --> H["采样下一个 Token"]
H --> I{"是否满足停止条件"}
I -->|"否"| J["将新 Token 加入上下文"]
J --> B
I -->|"是"| K["输出生成结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意:这是常见的生成流程抽象。不同推理框架可能将 Temperature、Logits Processor、Top-K、Top-P 等操作组织成不同的处理流水线。
三、Temperature:控制概率分布的尖锐程度
Temperature(温度)是控制生成随机性最重要的参数之一。
它通过调整 Logits 的数值尺度,改变 Softmax 输出的概率分布。
1. 数学原理
Temperature 对应的概率计算公式为:
其中:
- z_i:Token 对应的原始 Logit。
- T:Temperature 参数。
- P(x_i):调整后的 Token 概率。
Temperature 的核心作用是:
通过缩放 Logits,改变不同候选 Token 之间的概率差异。
2. Temperature 越低,分布越尖锐
当:
Logits 会被放大。
原本概率较高的 Token,其概率会进一步提高;概率较低的 Token,其概率会进一步降低。
例如,原始 Logits:
当 Temperature 为 1 时:
约为:
当 Temperature 为 0.5 时:
约为:
可以看到,最高概率候选的优势明显扩大。
| Token | T = 0.5 | T = 1.0 | T = 2.0 |
|---|---|---|---|
| A | 0.867 | 0.665 | 0.506 |
| B | 0.117 | 0.245 | 0.307 |
| C | 0.016 | 0.090 | 0.186 |
因此,较低的 Temperature 通常会让生成结果更加稳定,倾向于选择模型认为更可能的 Token。
但低温度并不等于绝对正确,也不意味着模型不会产生错误。
3. Temperature 越高,分布越平缓
当:
Logits 会被压缩,候选 Token 之间的概率差异缩小。
较低概率的候选 Token 获得更大的采样机会。
这通常会带来:
- 更丰富的表达。
- 更多样的措辞。
- 更高的生成随机性。
- 更大的输出波动。
- 更高的偏离预期风险。
当 Temperature 趋近于无穷大时,有限 Logits 对应的 Softmax 分布会逐渐趋近均匀分布。
4. Temperature 的几个特殊情况
| Temperature | 行为 |
|---|---|
| T=1 | 保持原始 Softmax 分布 |
| 0<T<1 | 概率分布更加尖锐 |
| T>1 | 概率分布更加平缓 |
| T\rightarrow 0^+ | 趋近于选择最高 Logit 对应的 Token |
Temperature 通常要求大于 0。
当 T=0 时,公式中的除法不再成立。工程接口一般会将 Temperature 为 0 处理为 Greedy Decoding,而不是直接执行 Softmax 除以零。
5. Temperature 不会改变候选 Token 的排序
这是一个非常重要的细节。
对于任意两个 Token,如果:
由于 Temperature 是正数:
因此,Temperature 不会改变 Logits 的相对排序。
它改变的是概率分布,而不是哪个 Token 的原始 Logit 更高。
例如:
原始排序:
A > B > C
Temperature = 0.5:
A > B > C
Temperature = 2.0:
A > B > C
排序保持不变,但每个 Token 的采样概率会发生变化。
6. Temperature 的适用场景
| 场景 | 常见调节方向 |
|---|---|
| 代码生成 | 较低 Temperature |
| 数学计算 | 较低 Temperature |
| 技术问答 | 较低或中等 Temperature |
| 创意写作 | 中等或较高 Temperature |
| 故事创作 | 中等或较高 Temperature |
| 多样化内容生成 | 较高 Temperature |
具体参数需要结合模型、任务和评估结果调整,不存在适用于所有模型的固定最佳值。
四、Top-K:只从概率最高的 K 个 Token 中采样
Top-K 是一种候选集合过滤策略。
它不改变所有 Token 的原始概率排序,而是只保留概率最高的 K 个 Token,将其他 Token 的概率设为 0,再对保留的概率重新归一化。
1. 数学原理
假设模型词表为:
经过 Softmax 后,得到概率分布:
按照概率从高到低排序:
Top-K 选择概率最高的 K 个 Token:
过滤后,概率重新归一化:
2. Top-K 工作示例
假设模型生成了如下概率分布:
| Token | 原始概率 |
|---|---|
| A | 0.40 |
| B | 0.25 |
| C | 0.15 |
| D | 0.10 |
| E | 0.06 |
| F | 0.04 |
设置:
模型只保留 A、B、C。
过滤后的概率总和为:
重新归一化:
最终分布:
| Token | 原始概率 | Top-3 后概率 |
|---|---|---|
| A | 0.40 | 0.50 |
| B | 0.25 | 0.3125 |
| C | 0.15 | 0.1875 |
| D | 0.10 | 0 |
| E | 0.06 | 0 |
| F | 0.04 | 0 |
Top-K 并不是简单地删除低概率 Token 后直接使用剩余的原始概率,而是需要重新归一化。
3. K 值如何影响生成?
- K 较小:候选范围缩小,输出更加集中。
- K 较大:候选范围扩大,生成多样性增加。
- K 等于词表大小:不进行 Top-K 过滤。
- K 等于 1:每一步只保留最高概率 Token,等价于在该过滤步骤之后进行贪心选择。
需要注意,K=1 时,后续即使使用随机采样,也只能选择唯一保留的 Token。
4. Top-K 的优点与局限
优点:
- 实现简单。
- 能排除大量低概率候选。
- 可以限制生成范围。
- 参数直观,容易调试。
局限:
- K 是固定数量,不考虑当前概率分布的实际形态。
- 不同上下文下,合理候选数量可能差异很大。
- 可能删除一些概率较低但合理的候选。
- 当概率分布非常集中时,固定 K 可能保留过多低质量候选。
这也是 Top-P 被广泛采用的重要原因。
五、Top-P:根据累计概率动态选择候选集合
Top-P 又称 Nucleus Sampling(核采样)。
与 Top-K 固定保留 K 个候选不同,Top-P 根据概率累计值动态决定保留多少个 Token。
它的核心思想是:
选择概率从高到低排列后,累计概率达到指定阈值 P 的最小候选集合。
1. 数学原理
假设概率分布经过排序:
给定阈值:
寻找最小的整数 k,使得:
那么 Top-P 的候选集合就是:
过滤后,同样需要重新归一化概率:
2. Top-P 工作示例
假设概率分布如下:
| Token | 概率 | 累计概率 |
|---|---|---|
| A | 0.40 | 0.40 |
| B | 0.25 | 0.65 |
| C | 0.15 | 0.80 |
| D | 0.10 | 0.90 |
| E | 0.06 | 0.96 |
| F | 0.04 | 1.00 |
设置:
从概率最高的 Token 开始累加:
- A:累计 0.40。
- A + B:累计 0.65。
- A + B + C:累计 0.80。
因此,候选集合为:
注意:Top-P 选择的是累计概率达到阈值的最小集合,不是选择所有单个概率大于 P 的 Token。
3. Top-P 为什么是动态的?
假设两个上下文对应不同概率分布。
场景 A:概率分布非常集中
| Token | 概率 | 累计概率 |
|---|---|---|
| A | 0.70 | 0.70 |
| B | 0.15 | 0.85 |
| C | 0.08 | 0.93 |
| D | 0.04 | 0.97 |
| E | 0.03 | 1.00 |
达到 0.90 只需要 A、B、C,共 3 个候选。
场景 B:概率分布比较分散
| Token | 概率 | 累计概率 |
|---|---|---|
| A | 0.25 | 0.25 |
| B | 0.20 | 0.45 |
| C | 0.18 | 0.63 |
| D | 0.15 | 0.78 |
| E | 0.12 | 0.90 |
| F | 0.10 | 1.00 |
达到 0.90 需要 A、B、C、D、E,共 5 个候选。
这说明:
Top-P 会根据当前概率分布自动调整候选数量。
当模型对某个 Token 非常确定时,候选集合通常较小;当模型对多个 Token 的判断比较分散时,候选集合通常较大。
4. P 值如何影响生成?
- P 较小:只保留概率质量较高的少量候选。
- P 较大:保留更多候选。
- P 等于 1:不进行 Top-P 过滤。
- P 越接近 0:候选集合越集中于最高概率 Token。
需要注意,实际实现可能设置最小保留 Token 数量,避免极端情况下候选集合过小。
5. Top-P 的优点与局限
优点:
- 根据当前概率分布动态调整候选数量。
- 能够适应不同上下文的不确定性。
- 减少大量低概率 Token 对采样的干扰。
- 在多样性和合理性之间提供可调节的平衡。
局限:
- 需要对概率排序并计算累计概率。
- P 值不直接对应固定候选数量。
- 不同上下文下候选集合变化较大。
- 仍然可能过滤掉某些概率较低但有价值的候选。
六、Top-K 与 Top-P 有什么区别?
两者都属于概率过滤策略,但判断候选集合的方式完全不同。
| 对比维度 | Top-K | Top-P |
|---|---|---|
| 核心机制 | 固定候选数量 | 固定累计概率阈值 |
| 候选数量 | 通常固定 | 动态变化 |
| 判断依据 | 概率排名 | 累计概率 |
| 主要参数 | K | P |
| 分布集中时 | 仍保留 K 个候选 | 通常保留较少候选 |
| 分布分散时 | 仍保留 K 个候选 | 通常保留较多候选 |
| 优势 | 简单、可控 | 自适应性强 |
| 局限 | 不考虑分布形态 | 候选数量不固定 |
1. 两者的核心差异
可以通过下面的示意理解:
flowchart TB
A["Softmax 概率分布"] --> B["候选 Token 排序"]
B --> C["Top-K"]
B --> D["Top-P"]
C --> E["固定保留 K 个 Token"]
D --> F["累计概率达到 P"]
E --> G["重新归一化"]
F --> H["动态数量候选集合"]
H --> I["重新归一化"]
G --> J["采样 Token"]
I --> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2. Top-K 和 Top-P 可以同时使用吗?
可以。
一些推理系统会同时使用 Top-K 和 Top-P。
例如:
Temperature = 0.8
Top-K = 50
Top-P = 0.9
一种常见的处理方式是: