返回专栏
· 20 分钟阅读

什么是 Embedding?从 Token 向量化到语义空间的核心原理


一、什么是 Embedding?

Embedding,通常翻译为嵌入或向量嵌入,是一种将离散数据映射到低维连续向量空间的表示方法。

在自然语言处理中,文本最初由字符、词语或 Token 等离散符号构成。这些符号本身无法直接参与神经网络中的矩阵运算,因此需要将它们转换为数值向量。

Embedding 完成的就是这一过程。

例如:

Token              Embedding
-----------------------------------------
apple       →      [0.21, 0.83, -0.14, ...]
banana      →      [0.18, 0.76, -0.09, ...]
computer    →      [0.92, -0.31, 0.57, ...]

每个 Token 对应一个固定维度的向量。

这些向量不是人工编写的特征,而是模型通过训练学习得到的参数。训练过程中,模型不断调整向量,使其能够更好地服务于下游任务。

1.1 Embedding 的核心作用

Embedding 主要解决三个问题:

  1. 数值化表示:将离散符号转换为神经网络能够处理的连续数值。
  2. 语义特征表达:通过向量中的数值模式表达对象的语义和特征。
  3. 相似性计算:利用向量之间的距离或相似度,衡量不同对象之间的关联程度。

Embedding 不只是文本处理技术,也广泛应用于:

  • 自然语言处理:Token、句子、文档向量。
  • 计算机视觉:图像、区域、视觉 Patch 向量。
  • 推荐系统:用户、商品、行为向量。
  • 多模态模型:文本、图像、音频、视频的统一或对齐表示。
  • 搜索系统:语义检索与向量数据库。

二、为什么需要 Embedding?

理解 Embedding,需要先理解离散数据与连续数值之间的区别。

2.1 Token ID 本身不包含语义

经过 Tokenizer 处理后,文本会被转换为 Token ID。

例如:

"我喜欢人工智能"

Tokenizer
    ↓
[我, 喜欢, 人工, 智能]

Token ID
    ↓
[102, 356, 1287, 2048]

这些 ID 只是词表中的索引。

Token ID 为 102,并不意味着它比 Token ID 356 更重要,也不意味着两个 ID 越接近,语义越相似。

如果直接把 Token ID 当作普通数值输入神经网络,就会引入没有意义的数值关系。

例如:

  • ID 100 和 ID 101 不一定具有相似语义。
  • ID 100 和 ID 1000 不一定具有更大的语义差异。
  • ID 的大小不代表词语的重要程度。

因此,需要将 Token ID 映射为具有可学习表达能力的向量。

2.2 One-Hot 编码的局限

一种直观的方法是使用 One-Hot Encoding(独热编码)。

假设词表大小为 5:

Token One-Hot 向量
Apple [1, 0, 0, 0, 0]
Banana [0, 1, 0, 0, 0]
Computer [0, 0, 1, 0, 0]
Orange [0, 0, 0, 1, 0]
Book [0, 0, 0, 0, 1]

One-Hot 编码有两个主要问题。

问题一:维度过高

如果词表包含 100,000 个 Token,每个 Token 就需要一个 100,000 维向量。

这会带来较大的存储和计算开销。

问题二:无法直接表达语义关系

任意两个不同 Token 的 One-Hot 向量之间都正交:

x_i^T x_j = 0,\quad i\neq j

因此,它无法直接表达:

  • Apple 和 Orange 都属于水果。
  • Cat 和 Dog 都属于动物。
  • Computer 和 Keyboard 都属于计算机领域。

One-Hot 只表达身份,不表达语义。

2.3 Embedding 的改进

Embedding 使用低维稠密向量替代高维稀疏向量。

例如:

One-Hot:
Apple  → [1, 0, 0, 0, 0, ...]
Banana → [0, 1, 0, 0, 0, ...]

Embedding:
Apple  → [0.21, 0.83, -0.14, 0.45]
Banana → [0.18, 0.76, -0.09, 0.39]

Embedding 具有以下特点:

  • 维度通常远小于词表大小。
  • 向量大部分维度都包含非零数值。
  • 向量由训练过程学习得到。
  • 可以通过向量运算表达一定的语义关系。

需要注意:Embedding 并不保证所有语义相似的对象在任何模型中都一定距离很近。向量空间的结构取决于训练目标、数据分布、模型架构和训练方式。

三、Embedding 的数学原理

Embedding 本质上是一个可学习的参数矩阵。

3.1 Embedding 矩阵

假设:

  • 词表大小为 V。
  • Embedding 维度为 d。

那么 Embedding 矩阵可以表示为:

E\in \mathbb{R}^{V\times d}

其中:

  • V:词表中的 Token 数量。
  • d:每个 Token 对应的向量维度。
  • E:模型需要学习的 Embedding 参数矩阵。

例如:

V=10000,\quad d=768

那么 Embedding 矩阵的形状就是:

E\in \mathbb{R}^{10000\times768}

也就是说,词表中的每个 Token 都有一个 768 维向量。

3.2 Token ID 到 Embedding 的映射

假设输入 Token ID:

i=102

那么模型会从 Embedding 矩阵中取出第 102 行:

e_i=E[i]

得到:

e_i\in\mathbb{R}^{768}

这个操作称为 Embedding Lookup(嵌入查找)。

其过程可以表示为:

flowchart TB
    A["输入文本"] --> B["Tokenizer 分词"]
    B --> C["Token ID 序列"]
    C --> D["Embedding 矩阵"]
    D --> E["根据 Token ID 查找向量"]
    E --> F["Embedding 向量序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

从计算角度看,Embedding Lookup 可以理解为从参数矩阵中按索引读取对应行。

也可以用 One-Hot 矩阵乘法表示:

e_i=x_iE

其中:

  • x_i\in\mathbb{R}^{V}:Token 的 One-Hot 向量。
  • E\in\mathbb{R}^{V\times d}:Embedding 矩阵。
  • e_i\in\mathbb{R}^{d}:最终得到的 Embedding。

实际实现通常不会真的构造完整 One-Hot 向量,而是直接通过索引查找,避免不必要的计算。

3.3 批量输入的维度变化

假设输入包含:

  • Batch Size:B=2
  • Sequence Length:L=4
  • Embedding Dimension:d=768

输入 Token ID 的形状为:

X\in\mathbb{N}^{2\times4}

经过 Embedding Lookup:

H=Embedding(X)

得到:

H\in\mathbb{R}^{2\times4\times768}

三个维度分别表示:

维度 含义
Batch 一次处理的样本数量
Sequence Length 每个样本包含的 Token 数量
Embedding Dimension 每个 Token 的向量维度

这也是 Transformer 中非常常见的张量形状。

需要区分:

  • Token ID 是离散索引。
  • Embedding 是连续向量。
  • Sequence Length 表示序列长度。
  • Embedding Dimension 表示单个 Token 的特征维度。

四、Embedding 是如何训练出来的?

Embedding 向量通常不是人工设计的,而是通过训练目标和反向传播学习得到的。

4.1 Embedding 本身也是模型参数

在神经网络中,Embedding 矩阵 E 是可训练参数。

模型训练时,通常会经历:

  1. 根据 Token ID 查询 Embedding。
  2. 将向量输入后续网络层。
  3. 执行前向传播。
  4. 根据预测结果计算损失函数。
  5. 通过反向传播计算梯度。
  6. 优化器更新 Embedding 矩阵及其他模型参数。

训练过程:

flowchart TB
    A["Token ID"] --> B["Embedding Lookup"]
    B --> C["得到 Embedding 向量"]
    C --> D["神经网络计算"]
    D --> E["模型预测"]
    E --> F["计算 Loss"]
    F --> G["反向传播"]
    G --> H["计算 Embedding 梯度"]
    H --> I["优化器更新参数"]
    I --> B

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Embedding 参数会根据训练目标不断调整。

例如,在语言模型中,如果某些向量表示有助于模型更准确地预测下一个 Token,那么训练过程就会通过梯度更新,使相关参数逐渐适应这一目标。

4.2 Embedding 如何获得语义信息?

Embedding 并不是通过某种独立的语义标注机制自动获得含义的。

它主要从训练数据和训练目标中学习统计规律。

例如:

我喜欢吃苹果。
我喜欢吃香蕉。
我喜欢吃橙子。

苹果是一种水果。
香蕉是一种水果。
橙子是一种水果。

这些词语经常出现在相似的上下文中。

模型在训练过程中,会逐渐学习到它们之间的统计关联。

这种关联可能反映:

  • 语义相似性。
  • 语法角色。
  • 上下文关系。
  • 主题关联。
  • 任务相关特征。

但需要注意:

上下文相似不等于语义完全相同,向量接近也不代表两个词可以互相替换。

例如:

  • 「苹果」和「香蕉」具有相似的类别属性。
  • 「苹果」和「手机」在某些语料中可能具有较强关联。
  • 「好」和「不好」在字面上高度相似,但语义方向可能相反。

Embedding 学到的是训练目标所需要的表示,而不是一份天然完整的词语定义表。

五、从 Word2Vec 到 Transformer Embedding

Embedding 技术经历了多个发展阶段。

不同阶段的主要区别,在于向量如何训练,以及是否能够根据上下文动态变化。

5.1 Word2Vec:通过上下文学习词向量

Word2Vec 是经典的静态词向量学习方法。

它通过词语的上下文关系学习词向量,主要包括两种训练架构。

CBOW(Continuous Bag of Words)

根据上下文词语预测中心词。

例如:

我 喜欢 [苹果] 和 香蕉

模型利用周围的词语预测中心词「苹果」。

Skip-gram

根据中心词预测周围的上下文词语。

例如:

中心词:苹果

预测:
我、喜欢、和、香蕉

两种方法的方向不同:

方法 输入 预测目标
CBOW 上下文词语 中心词
Skip-gram 中心词 上下文词语

Word2Vec 生成的是静态词向量。

同一个词在不同句子中,通常使用相同的向量。

例如:

我喜欢苹果。
苹果发布了新手机。

两处「苹果」在 Word2Vec 中通常对应相同的词向量。

这使得它难以直接区分同一个词在不同上下文中的含义。

5.2 GloVe:利用全局词共现统计

GloVe(Global Vectors for Word Representation)通过全局词共现统计学习词向量。

它关注词语在整个语料库中的共现关系。

例如:

  • 「医生」经常与「医院」共同出现。
  • 「程序」经常与「代码」共同出现。
  • 「飞机」经常与「机场」共同出现。

GloVe 通过词语共现矩阵及其统计关系学习向量表示。

与 Word2Vec 主要通过局部上下文预测不同,GloVe 更强调全局共现统计信息。

二者都属于经典静态词向量方法。

5.3 ELMo:引入上下文相关词向量

ELMo(Embeddings from Language Models)开始使用上下文信息动态生成词向量。

同一个词在不同句子中,可以获得不同的表示。

例如:

我去银行办理业务。
河岸边有一排银行树。

这里假设第二句讨论的是其他含义相近的语境,模型会根据上下文生成不同的表示。

ELMo 使用双向语言模型提取上下文特征,使词向量不再完全依赖词语本身。

5.4 BERT:通过 Transformer 学习上下文表示

BERT 使用 Transformer Encoder 架构,通过双向上下文学习 Token 表示。

其预训练任务主要包括:

  • Masked Language Modeling(MLM):随机遮蔽部分 Token,让模型预测被遮蔽内容。
  • Next Sentence Prediction(NSP):原始 BERT 训练中使用的句间关系任务。

例如:

原始文本:
我喜欢学习人工智能。

遮蔽部分:
我喜欢学习 [MASK] 智能。

模型预测:
人工

BERT 生成的 Token 表示会受到左右上下文共同影响。

因此,同一个 Token 在不同句子中可以得到不同的向量。

5.5 GPT:通过自回归语言建模学习表示

GPT 使用 Transformer Decoder 架构,采用自回归语言建模目标。

其核心任务是根据前面的上下文预测下一个 Token:

P(x_1,\ldots,x_T) = \prod_{t=1}^{T}P(x_t|x_{<t})

GPT 在处理序列时,通过 Embedding 层将 Token ID 转换为向量,再经过多层 Transformer 计算上下文表示。

与静态词向量不同,Transformer 中的 Token 表示会随着网络层和上下文发生变化。

需要区分三个概念:

  • Token Embedding:Token ID 对应的初始向量。
  • Contextual Representation:经过 Transformer 等网络计算后的上下文相关表示。
  • Output Embedding / Language Modeling Head:用于将模型隐藏状态映射到词表预测空间的输出参数或映射结构。

它们可能在某些模型中共享部分参数,但并不是天然相同的概念。

5.6 不同 Embedding 技术对比

技术 核心方法 是否上下文相关
Word2Vec 局部上下文预测 否
GloVe 全局词共现统计 否
ELMo 双向语言模型 是
BERT Transformer Encoder 是
GPT 自回归 Transformer 是

发展趋势可以概括为:

flowchart TB
    A["静态词向量"] --> B["Word2Vec / GloVe"]
    B --> C["上下文相关表示"]
    C --> D["ELMo"]
    D --> E["Transformer 表示"]
    E --> F["BERT / GPT"]
    F --> G["多模态 Embedding"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意,Word2Vec、GloVe、ELMo、BERT 和 GPT 并不是完全同类的模型。它们在架构、训练目标和表示方式上都有差异。

六、Embedding 与 Transformer 的关系

Embedding 是 Transformer 的输入基础之一,但它并不等于 Transformer 内部的全部向量表示。

6.1 Transformer 的输入 Embedding

在典型 Transformer 架构中,Token ID 首先经过 Embedding 层,转换为连续向量。

对于输入序列:

X=[x_1,x_2,\ldots,x_L]

经过 Embedding:

H=[e_1,e_2,\ldots,e_L]

其中:

e_i=E[x_i]

得到的向量序列随后进入 Transformer 网络。

6.2 为什么还需要位置编码?

Embedding 表示 Token 的内容特征,但普通 Token Embedding 本身并不包含 Token 在序列中的位置信息。

例如:

我喜欢人工智能
人工智能喜欢我

两句话包含相同的 Token 集合,但顺序不同,语义也可能不同。

Transformer 的自注意力机制本身并不天然具备序列顺序信息,因此需要引入位置信息。

在经典 Transformer 中,使用 Positional Encoding:

H_0=E(X)+P

其中:

  • E(X):Token Embedding。
  • P:位置编码。
  • H_0:Transformer 的初始输入表示。

位置编码可以采用固定正弦函数,也可以采用可学习的位置向量。

现代 Transformer 还可能使用 RoPE(Rotary Positional Embedding)、ALiBi 等位置编码或位置偏置机制。

这些方法并不都通过简单的向量相加实现。

6.3 Embedding 与隐藏状态的区别

这是理解 Transformer 时非常重要的一个区别。

假设模型隐藏维度为 d,输入序列长度为 L。

Token Embedding:

H_0\in\mathbb{R}^{L\times d}

经过第一层 Transformer:

H_1=Transformer_1(H_0)

经过第二层:

H_2=Transformer_2(H_1)

最终得到:

H_N=Transformer_N(H_{N-1})

其中:

  • H_0:初始 Token Embedding(若模型还加入位置表示,则是组合后的初始输入)。
  • H_1:第一层 Transformer 的输出。
  • H_N:最后一层 Transformer 的隐藏状态。

这些隐藏状态包含了经过多层计算后的上下文信息。

因此:

Embedding 是模型的初始向量表示,隐藏状态则是模型对输入进行上下文计算后的结果。

flowchart TB
    A["Token ID 序列"] --> B["Token Embedding"]
    B --> C["加入位置信息"]
    C --> D["Transformer Layer 1"]
    D --> E["Transformer Layer 2"]
    E --> F["Transformer Layer N"]
    F --> G["上下文隐藏状态"]
    G --> H["下游任务或输出预测"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

七、Embedding 空间与向量相似度

Embedding 的重要价值之一,是可以通过向量空间表达对象之间的关联。

7.1 向量空间

假设每个 Token 都对应一个三维向量:

e_i=[x_i,y_i,z_i]

那么每个 Token 都可以看作三维空间中的一个点。

如果两个向量在某种训练目标下具有相似的特征,它们可能在向量空间中比较接近。

实际模型通常使用数百维甚至数千维的 Embedding。

例如:

  • 384 维。
  • 768 维。
  • 1024 维。
  • 1536 维。
  • 3072 维。

维度越高,并不意味着语义能力必然越强。实际效果还受到模型结构、训练数据、目标函数、向量质量和推理方式等因素影响。

7.2 余弦相似度

衡量两个 Embedding 是否相似,常用余弦相似度(Cosine Similarity)。

公式:

\operatorname{cos}(A,B) = \frac{A\cdot B}{\|A\|\|B\|}

其中:

  • A\cdot B:两个向量的点积。
  • \|A\|:向量 A 的模长。
  • \|B\|:向量 B 的模长。

余弦相似度关注两个向量方向之间的夹角。

通常情况下:

相似度 含义
接近 1 方向高度相似
接近 0 方向接近正交
接近 -1 方向高度相反

但这些数值不能直接理解为语义相似概率。

例如,余弦相似度为 0.8,不代表两个文本有 80% 的语义相同。

7.3 欧氏距离

欧氏距离(Euclidean Distance)衡量两个向量之间的直线距离。

公式:

d(A,B)=\sqrt{\sum_{i=1}^{d}(A_i-B_i)^2}

距离越小,表示两个向量在当前空间中的位置越接近。

余弦相似度与欧氏距离关注的角度不同:

  • 余弦相似度:更关注向量方向。
  • 欧氏距离:同时受到方向和模长影响。

当向量经过 L2 归一化后,两者存在明确的数学关系:

\|A-B\|^2=2-2\operatorname{cos}(A,B)

因此,在单位向量条件下,最大化余弦相似度等价于最小化欧氏距离。

7.4 点积相似度

点积也常用于向量检索:

sim(A,B)=A\cdot B

点积同时受到向量方向和模长影响。

在向量数据库和检索系统中,常见的相似度计算方式包括:

  • Cosine Similarity。
  • Inner Product。
  • Euclidean Distance。

选择哪种指标,需要结合 Embedding 模型的训练方式和检索系统的配置。

八、Embedding 的主要类型

Embedding 并不局限于 Token 向量。不同数据类型都可以学习对应的向量表示。

8.1 Token Embedding

将 Token ID 转换为向量。

主要用于:

  • 大语言模型输入。
  • 文本编码。
  • Transformer 网络。

8.2 Word Embedding

将单词映射为向量。

经典代表:

  • Word2Vec。
  • GloVe。
  • FastText。

Word Embedding 通常以词为基本单位,现代大语言模型则普遍使用 Token 级别的表示。

8.3 Sentence Embedding

将整个句子编码为一个固定维度的向量。

例如:

句子 A:
如何学习机器学习?

句子 B:
机器学习应该从哪里开始?

Sentence Embedding
        ↓
句子 A → [0.21, 0.73, -0.15, ...]
句子 B → [0.19, 0.70, -0.12, ...]

如果模型经过适当训练,这两个向量可能具有较高的语义相似度。

Sentence Embedding 常用于:

  • 语义搜索。
  • 文本聚类。
  • 相似问题匹配。
  • 文本去重。
  • FAQ 检索。

8.4 Document Embedding

将一篇文档或较长文本转换为向量。

主要用于:

  • 文档语义检索。
  • 知识库搜索。
  • RAG。
  • 文档聚类。
  • 内容推荐。

对于长文档,通常需要先进行分块,再分别生成 Embedding。

否则,过长文本可能超过模型的输入长度限制,或者导致局部信息被整体表示稀释。

8.5 Image Embedding

将图像转换为向量表示。

例如:

输入图像
    ↓
视觉编码器
    ↓
Image Embedding
    ↓
[0.13, 0.72, -0.21, ...]

图像 Embedding 可以用于:

  • 以图搜图。
  • 图像分类。
  • 图像聚类。
  • 图像检索。
  • 跨模态匹配。

8.6 Multimodal Embedding

多模态 Embedding 用于将不同模态的数据映射到可比较或可交互的向量空间。

常见模态包括:

  • 文本。
  • 图像。
  • 音频。
  • 视频。

例如,CLIP 通过对比学习,使文本和图像的表示能够在共享空间中进行相似度比较。

文本:
一只正在草地上奔跑的狗

        ↓
文本编码器
        ↓
Text Embedding


狗在草地上奔跑的图片

        ↓
图像编码器
        ↓
Image Embedding

        ↓
计算跨模态相似度

注意:多模态 Embedding 不一定意味着所有模态都使用同一个编码器,也不意味着它们原始向量维度或内部结构完全相同。

8.7 不同类型对比

类型 输入对象 典型用途
Token Embedding Token 语言模型输入
Word Embedding 单词 词语语义分析
Sentence Embedding 句子 语义匹配
Document Embedding 文档 文档检索
Image Embedding 图像 图像检索
Audio Embedding 音频 音频识别与检索
Multimodal Embedding 多模态数据 跨模态检索与匹配

九、Embedding 在大语言模型中的应用

Embedding 不仅是模型输入层的重要组成部分,也是大语言模型与外部知识系统交互的关键技术。