一、什么是 Embedding?
Embedding,通常翻译为嵌入或向量嵌入,是一种将离散数据映射到低维连续向量空间的表示方法。
在自然语言处理中,文本最初由字符、词语或 Token 等离散符号构成。这些符号本身无法直接参与神经网络中的矩阵运算,因此需要将它们转换为数值向量。
Embedding 完成的就是这一过程。
例如:
Token Embedding
-----------------------------------------
apple → [0.21, 0.83, -0.14, ...]
banana → [0.18, 0.76, -0.09, ...]
computer → [0.92, -0.31, 0.57, ...]
每个 Token 对应一个固定维度的向量。
这些向量不是人工编写的特征,而是模型通过训练学习得到的参数。训练过程中,模型不断调整向量,使其能够更好地服务于下游任务。
1.1 Embedding 的核心作用
Embedding 主要解决三个问题:
- 数值化表示:将离散符号转换为神经网络能够处理的连续数值。
- 语义特征表达:通过向量中的数值模式表达对象的语义和特征。
- 相似性计算:利用向量之间的距离或相似度,衡量不同对象之间的关联程度。
Embedding 不只是文本处理技术,也广泛应用于:
- 自然语言处理:Token、句子、文档向量。
- 计算机视觉:图像、区域、视觉 Patch 向量。
- 推荐系统:用户、商品、行为向量。
- 多模态模型:文本、图像、音频、视频的统一或对齐表示。
- 搜索系统:语义检索与向量数据库。
二、为什么需要 Embedding?
理解 Embedding,需要先理解离散数据与连续数值之间的区别。
2.1 Token ID 本身不包含语义
经过 Tokenizer 处理后,文本会被转换为 Token ID。
例如:
"我喜欢人工智能"
Tokenizer
↓
[我, 喜欢, 人工, 智能]
Token ID
↓
[102, 356, 1287, 2048]
这些 ID 只是词表中的索引。
Token ID 为 102,并不意味着它比 Token ID 356 更重要,也不意味着两个 ID 越接近,语义越相似。
如果直接把 Token ID 当作普通数值输入神经网络,就会引入没有意义的数值关系。
例如:
- ID 100 和 ID 101 不一定具有相似语义。
- ID 100 和 ID 1000 不一定具有更大的语义差异。
- ID 的大小不代表词语的重要程度。
因此,需要将 Token ID 映射为具有可学习表达能力的向量。
2.2 One-Hot 编码的局限
一种直观的方法是使用 One-Hot Encoding(独热编码)。
假设词表大小为 5:
| Token | One-Hot 向量 |
|---|---|
| Apple | [1, 0, 0, 0, 0] |
| Banana | [0, 1, 0, 0, 0] |
| Computer | [0, 0, 1, 0, 0] |
| Orange | [0, 0, 0, 1, 0] |
| Book | [0, 0, 0, 0, 1] |
One-Hot 编码有两个主要问题。
问题一:维度过高
如果词表包含 100,000 个 Token,每个 Token 就需要一个 100,000 维向量。
这会带来较大的存储和计算开销。
问题二:无法直接表达语义关系
任意两个不同 Token 的 One-Hot 向量之间都正交:
因此,它无法直接表达:
- Apple 和 Orange 都属于水果。
- Cat 和 Dog 都属于动物。
- Computer 和 Keyboard 都属于计算机领域。
One-Hot 只表达身份,不表达语义。
2.3 Embedding 的改进
Embedding 使用低维稠密向量替代高维稀疏向量。
例如:
One-Hot:
Apple → [1, 0, 0, 0, 0, ...]
Banana → [0, 1, 0, 0, 0, ...]
Embedding:
Apple → [0.21, 0.83, -0.14, 0.45]
Banana → [0.18, 0.76, -0.09, 0.39]
Embedding 具有以下特点:
- 维度通常远小于词表大小。
- 向量大部分维度都包含非零数值。
- 向量由训练过程学习得到。
- 可以通过向量运算表达一定的语义关系。
需要注意:Embedding 并不保证所有语义相似的对象在任何模型中都一定距离很近。向量空间的结构取决于训练目标、数据分布、模型架构和训练方式。
三、Embedding 的数学原理
Embedding 本质上是一个可学习的参数矩阵。
3.1 Embedding 矩阵
假设:
- 词表大小为 V。
- Embedding 维度为 d。
那么 Embedding 矩阵可以表示为:
其中:
- V:词表中的 Token 数量。
- d:每个 Token 对应的向量维度。
- E:模型需要学习的 Embedding 参数矩阵。
例如:
那么 Embedding 矩阵的形状就是:
也就是说,词表中的每个 Token 都有一个 768 维向量。
3.2 Token ID 到 Embedding 的映射
假设输入 Token ID:
那么模型会从 Embedding 矩阵中取出第 102 行:
得到:
这个操作称为 Embedding Lookup(嵌入查找)。
其过程可以表示为:
flowchart TB
A["输入文本"] --> B["Tokenizer 分词"]
B --> C["Token ID 序列"]
C --> D["Embedding 矩阵"]
D --> E["根据 Token ID 查找向量"]
E --> F["Embedding 向量序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
从计算角度看,Embedding Lookup 可以理解为从参数矩阵中按索引读取对应行。
也可以用 One-Hot 矩阵乘法表示:
其中:
- x_i\in\mathbb{R}^{V}:Token 的 One-Hot 向量。
- E\in\mathbb{R}^{V\times d}:Embedding 矩阵。
- e_i\in\mathbb{R}^{d}:最终得到的 Embedding。
实际实现通常不会真的构造完整 One-Hot 向量,而是直接通过索引查找,避免不必要的计算。
3.3 批量输入的维度变化
假设输入包含:
- Batch Size:B=2
- Sequence Length:L=4
- Embedding Dimension:d=768
输入 Token ID 的形状为:
经过 Embedding Lookup:
得到:
三个维度分别表示:
| 维度 | 含义 |
|---|---|
| Batch | 一次处理的样本数量 |
| Sequence Length | 每个样本包含的 Token 数量 |
| Embedding Dimension | 每个 Token 的向量维度 |
这也是 Transformer 中非常常见的张量形状。
需要区分:
- Token ID 是离散索引。
- Embedding 是连续向量。
- Sequence Length 表示序列长度。
- Embedding Dimension 表示单个 Token 的特征维度。
四、Embedding 是如何训练出来的?
Embedding 向量通常不是人工设计的,而是通过训练目标和反向传播学习得到的。
4.1 Embedding 本身也是模型参数
在神经网络中,Embedding 矩阵 E 是可训练参数。
模型训练时,通常会经历:
- 根据 Token ID 查询 Embedding。
- 将向量输入后续网络层。
- 执行前向传播。
- 根据预测结果计算损失函数。
- 通过反向传播计算梯度。
- 优化器更新 Embedding 矩阵及其他模型参数。
训练过程:
flowchart TB
A["Token ID"] --> B["Embedding Lookup"]
B --> C["得到 Embedding 向量"]
C --> D["神经网络计算"]
D --> E["模型预测"]
E --> F["计算 Loss"]
F --> G["反向传播"]
G --> H["计算 Embedding 梯度"]
H --> I["优化器更新参数"]
I --> B
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Embedding 参数会根据训练目标不断调整。
例如,在语言模型中,如果某些向量表示有助于模型更准确地预测下一个 Token,那么训练过程就会通过梯度更新,使相关参数逐渐适应这一目标。
4.2 Embedding 如何获得语义信息?
Embedding 并不是通过某种独立的语义标注机制自动获得含义的。
它主要从训练数据和训练目标中学习统计规律。
例如:
我喜欢吃苹果。
我喜欢吃香蕉。
我喜欢吃橙子。
苹果是一种水果。
香蕉是一种水果。
橙子是一种水果。
这些词语经常出现在相似的上下文中。
模型在训练过程中,会逐渐学习到它们之间的统计关联。
这种关联可能反映:
- 语义相似性。
- 语法角色。
- 上下文关系。
- 主题关联。
- 任务相关特征。
但需要注意:
上下文相似不等于语义完全相同,向量接近也不代表两个词可以互相替换。
例如:
- 「苹果」和「香蕉」具有相似的类别属性。
- 「苹果」和「手机」在某些语料中可能具有较强关联。
- 「好」和「不好」在字面上高度相似,但语义方向可能相反。
Embedding 学到的是训练目标所需要的表示,而不是一份天然完整的词语定义表。
五、从 Word2Vec 到 Transformer Embedding
Embedding 技术经历了多个发展阶段。
不同阶段的主要区别,在于向量如何训练,以及是否能够根据上下文动态变化。
5.1 Word2Vec:通过上下文学习词向量
Word2Vec 是经典的静态词向量学习方法。
它通过词语的上下文关系学习词向量,主要包括两种训练架构。
CBOW(Continuous Bag of Words)
根据上下文词语预测中心词。
例如:
我 喜欢 [苹果] 和 香蕉
模型利用周围的词语预测中心词「苹果」。
Skip-gram
根据中心词预测周围的上下文词语。
例如:
中心词:苹果
预测:
我、喜欢、和、香蕉
两种方法的方向不同:
| 方法 | 输入 | 预测目标 |
|---|---|---|
| CBOW | 上下文词语 | 中心词 |
| Skip-gram | 中心词 | 上下文词语 |
Word2Vec 生成的是静态词向量。
同一个词在不同句子中,通常使用相同的向量。
例如:
我喜欢苹果。
苹果发布了新手机。
两处「苹果」在 Word2Vec 中通常对应相同的词向量。
这使得它难以直接区分同一个词在不同上下文中的含义。
5.2 GloVe:利用全局词共现统计
GloVe(Global Vectors for Word Representation)通过全局词共现统计学习词向量。
它关注词语在整个语料库中的共现关系。
例如:
- 「医生」经常与「医院」共同出现。
- 「程序」经常与「代码」共同出现。
- 「飞机」经常与「机场」共同出现。
GloVe 通过词语共现矩阵及其统计关系学习向量表示。
与 Word2Vec 主要通过局部上下文预测不同,GloVe 更强调全局共现统计信息。
二者都属于经典静态词向量方法。
5.3 ELMo:引入上下文相关词向量
ELMo(Embeddings from Language Models)开始使用上下文信息动态生成词向量。
同一个词在不同句子中,可以获得不同的表示。
例如:
我去银行办理业务。
河岸边有一排银行树。
这里假设第二句讨论的是其他含义相近的语境,模型会根据上下文生成不同的表示。
ELMo 使用双向语言模型提取上下文特征,使词向量不再完全依赖词语本身。
5.4 BERT:通过 Transformer 学习上下文表示
BERT 使用 Transformer Encoder 架构,通过双向上下文学习 Token 表示。
其预训练任务主要包括:
- Masked Language Modeling(MLM):随机遮蔽部分 Token,让模型预测被遮蔽内容。
- Next Sentence Prediction(NSP):原始 BERT 训练中使用的句间关系任务。
例如:
原始文本:
我喜欢学习人工智能。
遮蔽部分:
我喜欢学习 [MASK] 智能。
模型预测:
人工
BERT 生成的 Token 表示会受到左右上下文共同影响。
因此,同一个 Token 在不同句子中可以得到不同的向量。
5.5 GPT:通过自回归语言建模学习表示
GPT 使用 Transformer Decoder 架构,采用自回归语言建模目标。
其核心任务是根据前面的上下文预测下一个 Token:
GPT 在处理序列时,通过 Embedding 层将 Token ID 转换为向量,再经过多层 Transformer 计算上下文表示。
与静态词向量不同,Transformer 中的 Token 表示会随着网络层和上下文发生变化。
需要区分三个概念:
- Token Embedding:Token ID 对应的初始向量。
- Contextual Representation:经过 Transformer 等网络计算后的上下文相关表示。
- Output Embedding / Language Modeling Head:用于将模型隐藏状态映射到词表预测空间的输出参数或映射结构。
它们可能在某些模型中共享部分参数,但并不是天然相同的概念。
5.6 不同 Embedding 技术对比
| 技术 | 核心方法 | 是否上下文相关 |
|---|---|---|
| Word2Vec | 局部上下文预测 | 否 |
| GloVe | 全局词共现统计 | 否 |
| ELMo | 双向语言模型 | 是 |
| BERT | Transformer Encoder | 是 |
| GPT | 自回归 Transformer | 是 |
发展趋势可以概括为:
flowchart TB
A["静态词向量"] --> B["Word2Vec / GloVe"]
B --> C["上下文相关表示"]
C --> D["ELMo"]
D --> E["Transformer 表示"]
E --> F["BERT / GPT"]
F --> G["多模态 Embedding"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,Word2Vec、GloVe、ELMo、BERT 和 GPT 并不是完全同类的模型。它们在架构、训练目标和表示方式上都有差异。
六、Embedding 与 Transformer 的关系
Embedding 是 Transformer 的输入基础之一,但它并不等于 Transformer 内部的全部向量表示。
6.1 Transformer 的输入 Embedding
在典型 Transformer 架构中,Token ID 首先经过 Embedding 层,转换为连续向量。
对于输入序列:
经过 Embedding:
其中:
得到的向量序列随后进入 Transformer 网络。
6.2 为什么还需要位置编码?
Embedding 表示 Token 的内容特征,但普通 Token Embedding 本身并不包含 Token 在序列中的位置信息。
例如:
我喜欢人工智能
人工智能喜欢我
两句话包含相同的 Token 集合,但顺序不同,语义也可能不同。
Transformer 的自注意力机制本身并不天然具备序列顺序信息,因此需要引入位置信息。
在经典 Transformer 中,使用 Positional Encoding:
其中:
- E(X):Token Embedding。
- P:位置编码。
- H_0:Transformer 的初始输入表示。
位置编码可以采用固定正弦函数,也可以采用可学习的位置向量。
现代 Transformer 还可能使用 RoPE(Rotary Positional Embedding)、ALiBi 等位置编码或位置偏置机制。
这些方法并不都通过简单的向量相加实现。
6.3 Embedding 与隐藏状态的区别
这是理解 Transformer 时非常重要的一个区别。
假设模型隐藏维度为 d,输入序列长度为 L。
Token Embedding:
经过第一层 Transformer:
经过第二层:
最终得到:
其中:
- H_0:初始 Token Embedding(若模型还加入位置表示,则是组合后的初始输入)。
- H_1:第一层 Transformer 的输出。
- H_N:最后一层 Transformer 的隐藏状态。
这些隐藏状态包含了经过多层计算后的上下文信息。
因此:
Embedding 是模型的初始向量表示,隐藏状态则是模型对输入进行上下文计算后的结果。
flowchart TB
A["Token ID 序列"] --> B["Token Embedding"]
B --> C["加入位置信息"]
C --> D["Transformer Layer 1"]
D --> E["Transformer Layer 2"]
E --> F["Transformer Layer N"]
F --> G["上下文隐藏状态"]
G --> H["下游任务或输出预测"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
七、Embedding 空间与向量相似度
Embedding 的重要价值之一,是可以通过向量空间表达对象之间的关联。
7.1 向量空间
假设每个 Token 都对应一个三维向量:
那么每个 Token 都可以看作三维空间中的一个点。
如果两个向量在某种训练目标下具有相似的特征,它们可能在向量空间中比较接近。
实际模型通常使用数百维甚至数千维的 Embedding。
例如:
- 384 维。
- 768 维。
- 1024 维。
- 1536 维。
- 3072 维。
维度越高,并不意味着语义能力必然越强。实际效果还受到模型结构、训练数据、目标函数、向量质量和推理方式等因素影响。
7.2 余弦相似度
衡量两个 Embedding 是否相似,常用余弦相似度(Cosine Similarity)。
公式:
其中:
- A\cdot B:两个向量的点积。
- \|A\|:向量 A 的模长。
- \|B\|:向量 B 的模长。
余弦相似度关注两个向量方向之间的夹角。
通常情况下:
| 相似度 | 含义 |
|---|---|
| 接近 1 | 方向高度相似 |
| 接近 0 | 方向接近正交 |
| 接近 -1 | 方向高度相反 |
但这些数值不能直接理解为语义相似概率。
例如,余弦相似度为 0.8,不代表两个文本有 80% 的语义相同。
7.3 欧氏距离
欧氏距离(Euclidean Distance)衡量两个向量之间的直线距离。
公式:
距离越小,表示两个向量在当前空间中的位置越接近。
余弦相似度与欧氏距离关注的角度不同:
- 余弦相似度:更关注向量方向。
- 欧氏距离:同时受到方向和模长影响。
当向量经过 L2 归一化后,两者存在明确的数学关系:
因此,在单位向量条件下,最大化余弦相似度等价于最小化欧氏距离。
7.4 点积相似度
点积也常用于向量检索:
点积同时受到向量方向和模长影响。
在向量数据库和检索系统中,常见的相似度计算方式包括:
- Cosine Similarity。
- Inner Product。
- Euclidean Distance。
选择哪种指标,需要结合 Embedding 模型的训练方式和检索系统的配置。
八、Embedding 的主要类型
Embedding 并不局限于 Token 向量。不同数据类型都可以学习对应的向量表示。
8.1 Token Embedding
将 Token ID 转换为向量。
主要用于:
- 大语言模型输入。
- 文本编码。
- Transformer 网络。
8.2 Word Embedding
将单词映射为向量。
经典代表:
- Word2Vec。
- GloVe。
- FastText。
Word Embedding 通常以词为基本单位,现代大语言模型则普遍使用 Token 级别的表示。
8.3 Sentence Embedding
将整个句子编码为一个固定维度的向量。
例如:
句子 A:
如何学习机器学习?
句子 B:
机器学习应该从哪里开始?
Sentence Embedding
↓
句子 A → [0.21, 0.73, -0.15, ...]
句子 B → [0.19, 0.70, -0.12, ...]
如果模型经过适当训练,这两个向量可能具有较高的语义相似度。
Sentence Embedding 常用于:
- 语义搜索。
- 文本聚类。
- 相似问题匹配。
- 文本去重。
- FAQ 检索。
8.4 Document Embedding
将一篇文档或较长文本转换为向量。
主要用于:
- 文档语义检索。
- 知识库搜索。
- RAG。
- 文档聚类。
- 内容推荐。
对于长文档,通常需要先进行分块,再分别生成 Embedding。
否则,过长文本可能超过模型的输入长度限制,或者导致局部信息被整体表示稀释。
8.5 Image Embedding
将图像转换为向量表示。
例如:
输入图像
↓
视觉编码器
↓
Image Embedding
↓
[0.13, 0.72, -0.21, ...]
图像 Embedding 可以用于:
- 以图搜图。
- 图像分类。
- 图像聚类。
- 图像检索。
- 跨模态匹配。
8.6 Multimodal Embedding
多模态 Embedding 用于将不同模态的数据映射到可比较或可交互的向量空间。
常见模态包括:
- 文本。
- 图像。
- 音频。
- 视频。
例如,CLIP 通过对比学习,使文本和图像的表示能够在共享空间中进行相似度比较。
文本:
一只正在草地上奔跑的狗
↓
文本编码器
↓
Text Embedding
狗在草地上奔跑的图片
↓
图像编码器
↓
Image Embedding
↓
计算跨模态相似度
注意:多模态 Embedding 不一定意味着所有模态都使用同一个编码器,也不意味着它们原始向量维度或内部结构完全相同。
8.7 不同类型对比
| 类型 | 输入对象 | 典型用途 |
|---|---|---|
| Token Embedding | Token | 语言模型输入 |
| Word Embedding | 单词 | 词语语义分析 |
| Sentence Embedding | 句子 | 语义匹配 |
| Document Embedding | 文档 | 文档检索 |
| Image Embedding | 图像 | 图像检索 |
| Audio Embedding | 音频 | 音频识别与检索 |
| Multimodal Embedding | 多模态数据 | 跨模态检索与匹配 |
九、Embedding 在大语言模型中的应用
Embedding 不仅是模型输入层的重要组成部分,也是大语言模型与外部知识系统交互的关键技术。