一、为什么 Attention 需要 Q、K、V?
在 Transformer 中,Self-Attention 的核心任务是让序列中的 Token 相互交换信息。
假设输入序列:
我 喜欢 人工智能
模型在处理某个 Token 时,需要解决两个问题:
- 当前 Token 应该从其他哪些 Token 获取信息?
- 获取到的信息应该如何参与当前 Token 的表示计算?
如果直接使用输入向量计算相似度并聚合信息,模型的表达能力会受到限制。
Transformer 引入三个不同的向量表示:
- Query(Q):查询向量,表示当前 Token 用什么特征寻找相关信息。
- Key(K):键向量,表示当前 Token 用什么特征参与匹配。
- Value(V):值向量,表示当前 Token 能够提供什么内容。
三者共同构成 Attention 的信息交互机制。
可以将其理解为一个检索系统:
| Attention 概念 | 检索系统类比 | 核心职责 |
|---|---|---|
| Query | 查询条件 | 表达当前需要什么信息 |
| Key | 索引信息 | 判断是否与查询匹配 |
| Value | 检索内容 | 提供实际需要聚合的信息 |
这个类比有助于建立直觉,但 Q、K、V 本质上都是模型学习得到的连续向量,并不是数据库中的三个固定字段。
二、Q、K、V 是如何生成的?
Q、K、V 并不是直接从 Token 中查表得到的三个属性,而是由输入隐藏表示经过三个不同的可学习线性投影生成。
2.1 输入表示 X
假设输入序列经过 Embedding 和位置编码处理后,得到隐藏表示:
其中:
- n:序列长度。
- d_{model}:模型隐藏维度。
例如:
则:
可以理解为:
- 序列包含 4 个 Token。
- 每个 Token 对应一个 512 维向量。
如果输入已经经过前面的 Transformer 层,那么 X 就是上一层输出的隐藏状态,而不再是最初的 Token Embedding。
2.2 三个不同的投影矩阵
模型定义三个独立的可学习权重矩阵:
分别计算:
因此:
实际实现中,线性层通常还可能包含偏置项。上述公式为了简洁省略了偏置。
2.3 生成过程
flowchart TB
A["输入隐藏表示 X"] --> B["线性投影"]
B --> C["WQ"]
B --> D["WK"]
B --> E["WV"]
C --> F["Query"]
D --> G["Key"]
E --> H["Value"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这里有一个非常重要的结论:
Q、K、V 来自同一个输入 X,但使用不同的投影矩阵,因此形成不同的表示空间。
三者并不是三份独立的原始数据。
三、Query:当前 Token 想要查询什么?
Query 的核心职责是发起匹配。
对于序列中的第 i 个 Token:
其中:
- x_i:第 i 个 Token 的输入隐藏表示。
- W_Q:Query 投影矩阵。
- q_i:第 i 个 Token 的 Query 向量。
Query 表示当前 Token 在当前注意力层中用于寻找相关信息的特征。
3.1 Query 不等于自然语言问题
容易产生一种误解:Query 就是模型内部生成的一段问题。
实际上并不是。
Query 是一个高维浮点向量,例如:
它不具有直接可读的自然语言含义。
模型通过训练学习 W_Q,使 Query 能够在当前任务和网络结构中形成有用的匹配表示。
3.2 每个 Token 都有自己的 Query
假设输入有三个 Token:
那么:
每个 Token 都会生成自己的 Query。
这意味着每个位置都可以独立发起一次注意力查询。
3.3 Query 的核心作用
Query 决定当前 Token 如何与其他 Token 的 Key 进行匹配。
同一个 Token 在不同上下文中,其输入隐藏表示可能不同,因此生成的 Query 也可能不同。
在不同 Transformer 层中,由于输入隐藏表示持续变化,Query 也会重新计算。
四、Key:其他 Token 如何参与匹配?
Key 的核心职责是提供匹配依据。
对于第 j 个 Token:
其中:
- x_j:第 j 个 Token 的输入隐藏表示。
- W_K:Key 投影矩阵。
- k_j:第 j 个 Token 的 Key 向量。
如果把 Query 理解为查询条件,那么 Key 就是参与匹配的索引表示。
4.1 Key 不是 Token 的唯一标识
Key 并不是 Token ID,也不是一个固定的词语编号。
例如,Token ID 可能是:
101
205
309
而 Key 是由隐藏表示经过线性投影得到的连续向量:
它的数值会随着模型参数、输入上下文和网络层变化。
4.2 Key 决定匹配空间
Query 与 Key 必须处于可以进行点积运算的兼容维度空间。
假设:
那么可以计算:
点积结果是一个标量,用于表示这两个向量在当前注意力空间中的匹配分数。
如果 Q 和 K 的维度不一致,就无法直接进行标准点积注意力计算。
4.3 Key 与 Query 是相对匹配关系
Key 本身没有一个脱离 Query 的固定注意力分数。
同一个 Key:
- 面对不同 Query,可能得到不同分数。
- 在不同注意力头中,可能具有不同表示。
- 在不同网络层中,可能发生变化。
因此,Attention Score 是 Query 与 Key 共同决定的,而不是 Key 自己决定的。
五、Value:真正被聚合的信息是什么?
Value 的核心职责是提供实际参与信息融合的向量内容。
对于第 j 个 Token:
其中:
- x_j:第 j 个 Token 的输入隐藏表示。
- W_V:Value 投影矩阵。
- v_j:第 j 个 Token 的 Value 向量。
在 Attention 中,Query 和 Key 负责计算权重,Value 负责提供被加权聚合的内容。
5.1 为什么不能直接聚合 Key?
Key 的主要职责是匹配,而 Value 的主要职责是内容表达。
如果直接使用 Key 作为聚合内容,那么匹配空间和信息表达空间就被绑定在一起。
将二者分离后,模型可以分别学习:
- 什么样的特征适合建立关联。
- 什么样的信息适合传递给其他 Token。
这增加了模型的表达灵活性。
5.2 Value 不等于原始 Token Embedding
Value 是输入隐藏表示经过 W_V 投影后的结果:
它不一定保留原始 Embedding 中每个维度的含义。
在多层 Transformer 中,Value 的输入来自上一层隐藏表示,因此它可能已经融合了多轮上下文信息。
5.3 Value 如何参与输出计算?
假设某个 Query 对三个 Token 的注意力权重为:
对应的 Value 为:
最终输出:
展开:
得到:
这个结果就是当前 Query 从三个位置聚合得到的上下文表示。
六、Q、K、V 如何协同工作?
理解三个向量最重要的不是分别记住定义,而是理解它们之间的协作关系。
完整计算过程:
先通过 Q 和 K 计算注意力分数:
然后进行缩放和归一化:
最后聚合 Value:
完整公式:
整体过程:
flowchart TB
A["输入 X"] --> B["生成 Q"]
A --> C["生成 K"]
A --> D["生成 V"]
B --> E["Q 与 K 点积"]
C --> E
E --> F["缩放分数"]
F --> G["Softmax"]
G --> H["注意力权重 A"]
H --> I["A 与 V 相乘"]
D --> I
I --> J["输出 O"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
这里需要区分两个阶段:
第一阶段:计算关注谁。
通过 Q 与 K 的匹配程度得到注意力权重。
第二阶段:获取什么信息。
使用注意力权重对 V 进行加权求和。
因此:
- Q 决定查询方向。
- K 决定匹配依据。
- V 决定被聚合的内容。
七、为什么 Q、K、V 要使用不同的权重矩阵?
这是理解 Attention 设计思想的关键问题。
假设只有一个投影矩阵:
那么匹配空间和内容空间就被限制为同一个投影结果。
虽然这种结构并非完全无法工作,但表达能力会受到约束。
Transformer 使用三个独立投影矩阵:
使模型能够分别学习不同的表示方式。
7.1 匹配与内容分离
Query 和 Key 主要参与注意力分数计算:
Value 主要参与信息聚合:
这种分离允许模型学习:
- 哪些特征适合用于匹配。
- 哪些特征适合用于信息传递。
- 如何根据匹配结果动态组合内容。
7.2 通过训练自动学习
Q、K、V 的投影矩阵都是可学习参数。
在训练过程中,模型根据任务损失进行反向传播,更新这些矩阵。
训练过程并不会直接告诉模型:
- 哪个维度代表语法。
- 哪个维度代表语义。
- 哪个维度代表实体关系。
模型通过数据和优化目标,逐步形成有利于任务的内部表示。
因此,不应该将某个 Q、K、V 维度直接解释成一个固定的人类语义概念。
八、为什么 Q、K、V 的维度通常相同?
标准点积注意力要求:
因为计算:
时,Q 和 K 的特征维度必须匹配。
而 Value 的维度可以不同:
最终:
其中:
所以:
这意味着:
- Q 与 K 的维度必须一致,才能计算标准点积。
- V 的维度不必与 Q、K 相同。
- 输出维度由 V 的维度决定。
在经典 Transformer 的多头注意力中,通常令:
其中 h 是注意力头数量。
九、多头注意力中的 Q、K、V
在 Multi-Head Attention 中,Q、K、V 不只是生成一组,而是通过不同的投影矩阵生成多组表示。
假设:
则每个 Head 的维度为:
对于每个注意力头:
分别计算:
所有 Head 的输出拼接:
9.1 多头 Q、K、V 的维度
假设:
- Batch Size:32。
- 序列长度:128。
- 隐藏维度:768。
- Head 数量:12。
- 每个 Head 维度:64。
输入:
投影并拆分多头:
注意力分数:
注意力权重与 V 相乘:
多头拼接:
9.2 多头为什么有价值?
不同注意力头使用不同的投影矩阵,因此可以在不同表示子空间中学习不同的匹配与信息聚合模式。
不过,不能简单认为每个 Head 都对应一个明确的语法、语义或指代功能。实际注意力头可能存在功能重叠,也可能表现出复杂的组合行为。
十、Self-Attention 与 Cross-Attention 中的 Q、K、V
Q、K、V 的来源取决于 Attention 的类型。
10.1 Self-Attention
Self-Attention 中:
三者都来自同一组输入隐藏表示。
典型应用:
- Transformer Encoder。
- Decoder 的 Masked Self-Attention。
- Decoder-only 大语言模型。
10.2 Cross-Attention
Cross-Attention 中,Q 来自一个序列,K 和 V 来自另一个序列。
例如 Encoder-Decoder 架构:
其中:
- H_{dec}:Decoder 当前隐藏表示。
- H_{enc}:Encoder 输出表示。
这使 Decoder 能够根据当前生成状态,从 Encoder 输出中提取相关信息。
10.3 对比
| 对比维度 | Self-Attention | Cross-Attention |
|---|---|---|
| Query 来源 | 当前序列 | 一个序列 |
| Key 来源 | 当前序列 | 另一个序列 |
| Value 来源 | 当前序列 | 另一个序列 |
| 信息交互 | 序列内部 | 不同序列之间 |
| 典型用途 | 上下文建模 | Encoder 与 Decoder 信息交互 |
需要注意,现代 Decoder-only 模型通常使用 Causal Self-Attention,而不是经典 Encoder-Decoder 结构中的 Cross-Attention。
十一、Q、K、V 与位置编码的关系
Q、K、V 本身不天然包含明确的 Token 顺序信息。
如果只使用普通点积 Self-Attention,而没有额外的位置机制,那么模型无法仅凭该计算区分某些仅仅改变 Token 顺序的输入。
Transformer 因此需要引入位置信息。
常见方式包括:
- 正弦位置编码。
- 可学习绝对位置编码。
- 相对位置编码。
- RoPE(Rotary Position Embedding)。
- ALiBi。
11.1 绝对位置编码
经典 Transformer 将位置编码加入 Token Embedding:
之后再生成:
因此,位置信息会通过输入表示影响 Q、K、V。
11.2 RoPE
RoPE 的处理方式有所不同。
它通常在生成 Q、K 后,根据 Token 的位置对 Q 和 K 进行旋转变换:
随后使用旋转后的 Q、K 计算注意力。
标准 RoPE 通常不直接对 V 施加同样的旋转。
其重要特点是,两个位置向量的点积能够体现相对位置信息。
因此,现代大语言模型中不能简单地认为所有位置编码都通过加法作用于原始 Embedding。
十二、Q、K、V 与 KV Cache
在大语言模型推理过程中,K 和 V 还有一个非常重要的工程用途:缓存。
12.1 为什么需要缓存 K 和 V?
自回归生成通常逐 Token 进行。
例如:
第一步:生成 Token 1
第二步:生成 Token 2
第三步:生成 Token 3