返回专栏
· 12 分钟阅读

Temperature、Top-K 与 Top-P:大语言模型如何控制文本生成的随机性?


一、为什么大语言模型需要采样策略?

大语言模型通常采用自回归方式生成文本。

模型每次根据已有上下文,预测下一个 Token 的概率分布,再从候选 Token 中选择一个作为输出。

假设当前上下文为:

今天天气非常

模型可能得到如下候选概率:

候选 Token 概率
好 0.55
不错 0.20
炎热 0.12
寒冷 0.08
糟糕 0.05

模型并不是直接输出概率最高的 Token,而是可以采用不同策略进行选择。

例如:

  • Greedy Decoding:始终选择概率最高的 Token。
  • Random Sampling:按照概率分布随机采样。
  • Temperature:调整概率分布的尖锐程度。
  • Top-K:只保留概率最高的 K 个候选。
  • Top-P:只保留累计概率达到指定阈值的候选集合。

这些方法共同决定了模型生成文本时的确定性、多样性和随机性。

二、从 Logits 到 Token 概率分布

理解 Temperature、Top-K 和 Top-P,首先需要理解模型生成 Token 的基本过程。

1. Logits 是什么?

Transformer 完成当前上下文的计算后,会通过输出层得到一个 Logits 向量。

假设模型词表大小为 V,那么 Logits 可以表示为:

z=(z_1,z_2,\ldots,z_V)

其中:

  • V:模型词表大小。
  • z_i:第 i 个 Token 对应的 Logit。
  • Logit:模型对候选 Token 给出的未归一化分数。

Logits 可以是任意实数,不受 0 到 1 的范围限制。

例如:

z=[3.2,2.1,1.5,0.8,-0.5]

这些数值并不是概率,不能直接解释为模型选择每个 Token 的可能性。

2. Softmax 将 Logits 转换为概率

为了得到概率分布,需要通过 Softmax 函数进行归一化:

P(x_i)= \frac{e^{z_i}} {\sum_{j=1}^{V}e^{z_j}}

Softmax 具有两个重要性质:

  • 每个 Token 的概率都在 0 到 1 之间。
  • 所有候选 Token 的概率之和等于 1。
\sum_{i=1}^{V}P(x_i)=1

例如:

示意数据,仅用于解释 Softmax 的作用

Token Logit Softmax 概率
A 3.2 0.55
B 2.1 0.18
C 1.5 0.10
D 0.8 0.06
E -0.5 0.01
其他 — 0.10

Softmax 得到的概率分布,就是后续采样策略处理的基础。

3. Token 选择的整体流程

flowchart TB
    A["输入当前上下文"] --> B["Transformer 前向计算"]
    B --> C["输出 Logits"]
    C --> D["Temperature 调整"]
    D --> E["Softmax 概率分布"]
    E --> F["Top-K / Top-P 过滤"]
    F --> G["重新归一化概率"]
    G --> H["采样下一个 Token"]
    H --> I{"是否满足停止条件"}
    I -->|"否"| J["将新 Token 加入上下文"]
    J --> B
    I -->|"是"| K["输出生成结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意:这是常见的生成流程抽象。不同推理框架可能将 Temperature、Logits Processor、Top-K、Top-P 等操作组织成不同的处理流水线。

三、Temperature:控制概率分布的尖锐程度

Temperature(温度)是控制生成随机性最重要的参数之一。

它通过调整 Logits 的数值尺度,改变 Softmax 输出的概率分布。

1. 数学原理

Temperature 对应的概率计算公式为:

P(x_i)= \frac{e^{z_i/T}} {\sum_{j=1}^{V}e^{z_j/T}}

其中:

  • z_i:Token 对应的原始 Logit。
  • T:Temperature 参数。
  • P(x_i):调整后的 Token 概率。

Temperature 的核心作用是:

通过缩放 Logits,改变不同候选 Token 之间的概率差异。

2. Temperature 越低,分布越尖锐

当:

0<T<1

Logits 会被放大。

原本概率较高的 Token,其概率会进一步提高;概率较低的 Token,其概率会进一步降低。

例如,原始 Logits:

z=[3,2,1]

当 Temperature 为 1 时:

P=\operatorname{Softmax}([3,2,1])

约为:

P=[0.665,0.245,0.090]

当 Temperature 为 0.5 时:

P=\operatorname{Softmax}([6,4,2])

约为:

P=[0.867,0.117,0.016]

可以看到,最高概率候选的优势明显扩大。

同一组 Logits,不同 Temperature 下的概率分布示意

Token T = 0.5 T = 1.0 T = 2.0
A 0.867 0.665 0.506
B 0.117 0.245 0.307
C 0.016 0.090 0.186

因此,较低的 Temperature 通常会让生成结果更加稳定,倾向于选择模型认为更可能的 Token。

但低温度并不等于绝对正确,也不意味着模型不会产生错误。

3. Temperature 越高,分布越平缓

当:

T>1

Logits 会被压缩,候选 Token 之间的概率差异缩小。

较低概率的候选 Token 获得更大的采样机会。

这通常会带来:

  • 更丰富的表达。
  • 更多样的措辞。
  • 更高的生成随机性。
  • 更大的输出波动。
  • 更高的偏离预期风险。

当 Temperature 趋近于无穷大时,有限 Logits 对应的 Softmax 分布会逐渐趋近均匀分布。

4. Temperature 的几个特殊情况

Temperature 行为
T=1 保持原始 Softmax 分布
0<T<1 概率分布更加尖锐
T>1 概率分布更加平缓
T\rightarrow 0^+ 趋近于选择最高 Logit 对应的 Token

Temperature 通常要求大于 0。

当 T=0 时,公式中的除法不再成立。工程接口一般会将 Temperature 为 0 处理为 Greedy Decoding,而不是直接执行 Softmax 除以零。

5. Temperature 不会改变候选 Token 的排序

这是一个非常重要的细节。

对于任意两个 Token,如果:

z_i>z_j

由于 Temperature 是正数:

\frac{z_i}{T}>\frac{z_j}{T}

因此,Temperature 不会改变 Logits 的相对排序。

它改变的是概率分布,而不是哪个 Token 的原始 Logit 更高。

例如:

原始排序:
A > B > C

Temperature = 0.5:
A > B > C

Temperature = 2.0:
A > B > C

排序保持不变,但每个 Token 的采样概率会发生变化。

6. Temperature 的适用场景

场景 常见调节方向
代码生成 较低 Temperature
数学计算 较低 Temperature
技术问答 较低或中等 Temperature
创意写作 中等或较高 Temperature
故事创作 中等或较高 Temperature
多样化内容生成 较高 Temperature

具体参数需要结合模型、任务和评估结果调整,不存在适用于所有模型的固定最佳值。

四、Top-K:只从概率最高的 K 个 Token 中采样

Top-K 是一种候选集合过滤策略。

它不改变所有 Token 的原始概率排序,而是只保留概率最高的 K 个 Token,将其他 Token 的概率设为 0,再对保留的概率重新归一化。

1. 数学原理

假设模型词表为:

V=\{x_1,x_2,\ldots,x_n\}

经过 Softmax 后,得到概率分布:

P=\{p_1,p_2,\ldots,p_n\}

按照概率从高到低排序:

p_{(1)}\geq p_{(2)}\geq\cdots\geq p_{(n)}

Top-K 选择概率最高的 K 个 Token:

S_K=\{x_{(1)},x_{(2)},\ldots,x_{(K)}\}

过滤后,概率重新归一化:

P'(x_i)= \begin{cases} \frac{P(x_i)}{\sum_{x_j\in S_K}P(x_j)}, & x_i\in S_K\\ 0, & x_i\notin S_K \end{cases}

2. Top-K 工作示例

假设模型生成了如下概率分布:

Token 原始概率
A 0.40
B 0.25
C 0.15
D 0.10
E 0.06
F 0.04

设置:

K=3

模型只保留 A、B、C。

过滤后的概率总和为:

0.40+0.25+0.15=0.80

重新归一化:

P'(A)=0.40/0.80=0.50
P'(B)=0.25/0.80=0.3125
P'(C)=0.15/0.80=0.1875

最终分布:

Token 原始概率 Top-3 后概率
A 0.40 0.50
B 0.25 0.3125
C 0.15 0.1875
D 0.10 0
E 0.06 0
F 0.04 0

Top-K 并不是简单地删除低概率 Token 后直接使用剩余的原始概率,而是需要重新归一化。

3. K 值如何影响生成?

  • K 较小:候选范围缩小,输出更加集中。
  • K 较大:候选范围扩大,生成多样性增加。
  • K 等于词表大小:不进行 Top-K 过滤。
  • K 等于 1:每一步只保留最高概率 Token,等价于在该过滤步骤之后进行贪心选择。

需要注意,K=1 时,后续即使使用随机采样,也只能选择唯一保留的 Token。

4. Top-K 的优点与局限

优点:

  • 实现简单。
  • 能排除大量低概率候选。
  • 可以限制生成范围。
  • 参数直观,容易调试。

局限:

  • K 是固定数量,不考虑当前概率分布的实际形态。
  • 不同上下文下,合理候选数量可能差异很大。
  • 可能删除一些概率较低但合理的候选。
  • 当概率分布非常集中时,固定 K 可能保留过多低质量候选。

这也是 Top-P 被广泛采用的重要原因。

五、Top-P:根据累计概率动态选择候选集合

Top-P 又称 Nucleus Sampling(核采样)。

与 Top-K 固定保留 K 个候选不同,Top-P 根据概率累计值动态决定保留多少个 Token。

它的核心思想是:

选择概率从高到低排列后,累计概率达到指定阈值 P 的最小候选集合。

1. 数学原理

假设概率分布经过排序:

p_{(1)}\geq p_{(2)}\geq\cdots\geq p_{(n)}

给定阈值:

0<P\leq1

寻找最小的整数 k,使得:

\sum_{i=1}^{k}p_{(i)}\geq P

那么 Top-P 的候选集合就是:

S_P=\{x_{(1)},x_{(2)},\ldots,x_{(k)}\}

过滤后,同样需要重新归一化概率:

P'(x_i)= \begin{cases} \frac{P(x_i)}{\sum_{x_j\in S_P}P(x_j)}, & x_i\in S_P\\ 0, & x_i\notin S_P \end{cases}

2. Top-P 工作示例

假设概率分布如下:

Token 概率 累计概率
A 0.40 0.40
B 0.25 0.65
C 0.15 0.80
D 0.10 0.90
E 0.06 0.96
F 0.04 1.00

设置:

P=0.80

从概率最高的 Token 开始累加:

  • A:累计 0.40。
  • A + B:累计 0.65。
  • A + B + C:累计 0.80。

因此,候选集合为:

S_P=\{A,B,C\}

注意:Top-P 选择的是累计概率达到阈值的最小集合,不是选择所有单个概率大于 P 的 Token。

3. Top-P 为什么是动态的?

假设两个上下文对应不同概率分布。

以下均使用 Top-P = 0.90

场景 A:概率分布非常集中

Token 概率 累计概率
A 0.70 0.70
B 0.15 0.85
C 0.08 0.93
D 0.04 0.97
E 0.03 1.00

达到 0.90 只需要 A、B、C,共 3 个候选。

场景 B:概率分布比较分散

Token 概率 累计概率
A 0.25 0.25
B 0.20 0.45
C 0.18 0.63
D 0.15 0.78
E 0.12 0.90
F 0.10 1.00

达到 0.90 需要 A、B、C、D、E,共 5 个候选。

这说明:

Top-P 会根据当前概率分布自动调整候选数量。

当模型对某个 Token 非常确定时,候选集合通常较小;当模型对多个 Token 的判断比较分散时,候选集合通常较大。

4. P 值如何影响生成?

  • P 较小:只保留概率质量较高的少量候选。
  • P 较大:保留更多候选。
  • P 等于 1:不进行 Top-P 过滤。
  • P 越接近 0:候选集合越集中于最高概率 Token。

需要注意,实际实现可能设置最小保留 Token 数量,避免极端情况下候选集合过小。

5. Top-P 的优点与局限

优点:

  • 根据当前概率分布动态调整候选数量。
  • 能够适应不同上下文的不确定性。
  • 减少大量低概率 Token 对采样的干扰。
  • 在多样性和合理性之间提供可调节的平衡。

局限:

  • 需要对概率排序并计算累计概率。
  • P 值不直接对应固定候选数量。
  • 不同上下文下候选集合变化较大。
  • 仍然可能过滤掉某些概率较低但有价值的候选。

六、Top-K 与 Top-P 有什么区别?

两者都属于概率过滤策略,但判断候选集合的方式完全不同。

对比维度 Top-K Top-P
核心机制 固定候选数量 固定累计概率阈值
候选数量 通常固定 动态变化
判断依据 概率排名 累计概率
主要参数 K P
分布集中时 仍保留 K 个候选 通常保留较少候选
分布分散时 仍保留 K 个候选 通常保留较多候选
优势 简单、可控 自适应性强
局限 不考虑分布形态 候选数量不固定

1. 两者的核心差异

可以通过下面的示意理解:

flowchart TB
    A["Softmax 概率分布"] --> B["候选 Token 排序"]
    B --> C["Top-K"]
    B --> D["Top-P"]
    C --> E["固定保留 K 个 Token"]
    D --> F["累计概率达到 P"]
    E --> G["重新归一化"]
    F --> H["动态数量候选集合"]
    H --> I["重新归一化"]
    G --> J["采样 Token"]
    I --> J

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

2. Top-K 和 Top-P 可以同时使用吗?

可以。

一些推理系统会同时使用 Top-K 和 Top-P。

例如:

Temperature = 0.8
Top-K = 50
Top-P = 0.9

一种常见的处理方式是: