返回专栏
· 18 分钟阅读

Tokenizer 的工作原理:从文本切分到 Token ID 编码的完整机制


一、什么是 Tokenizer?

Tokenizer,通常称为分词器或标记器,是自然语言处理系统中负责将文本转换为 Token 序列的组件。

在大语言模型中,Tokenizer 位于原始文本与神经网络之间。

人类输入的是自然语言:

人工智能正在改变软件开发方式。

模型实际接收的通常不是原始字符串,而是经过 Tokenizer 处理后的 Token ID 序列:

原始文本
    ↓
Tokenizer
    ↓
Token 序列
    ↓
Token ID
    ↓
Embedding
    ↓
Transformer

例如:

输入:
我喜欢学习人工智能。

Token:
["我", "喜欢", "学习", "人工", "智能", "。"]

Token ID:
[102, 356, 1287, 2048, 3096, 17]

以上仅为示意,实际切分结果和 ID 取决于具体模型使用的 Tokenizer。

1.1 Tokenizer 的核心职责

Tokenizer 主要完成以下工作:

  1. 文本规范化:根据具体规则处理文本中的空格、字符形式和特殊符号。
  2. 文本预处理:识别文本结构,为后续切分做准备。
  3. Token 切分:将文本拆分成模型定义的离散单位。
  4. Token ID 映射:将 Token 转换为词表中的整数索引。
  5. 特殊 Token 处理:识别或插入任务所需的控制标记。
  6. 文本解码:将 Token ID 序列还原为文本。

Tokenizer 不负责理解文本含义,也不直接执行语言推理。它负责建立文本与模型输入表示之间的映射关系。

1.2 Tokenizer、Token 与 Token ID 的区别

这三个概念容易混淆。

概念 含义 示例
Tokenizer 文本编码与解码工具 BPE Tokenizer
Token 切分后的离散单位 人工
Token ID Token 对应的整数索引 2048

可以理解为:

  • Tokenizer 是处理工具。
  • Token 是处理结果中的离散单位。
  • Token ID 是 Token 在词表中的编号。

Token ID 只是索引,不具有天然的语义大小关系。

例如:

Token       Token ID
--------------------
苹果          102
香蕉          356
计算机        1287

102 并不比 356 更重要,两个 ID 之间的数值差也不代表语义距离。

二、为什么大语言模型需要 Tokenizer?

计算机可以存储和处理文本,但神经网络通常需要将输入转换为数值张量。

Tokenizer 负责将文本转换为模型能够处理的离散索引。

2.1 原始文本无法直接作为 Embedding 索引

假设用户输入:

我喜欢机器学习。

原始文本是字符串,不能直接作为 Embedding 矩阵的行索引。

模型需要先将其转换为 Token ID:

原始文本:
我喜欢机器学习。

Token ID:
[102, 356, 1287, 2560]

再通过 Embedding 矩阵进行查找:

e_i=E[token\_id_i]

其中:

  • E:Embedding 参数矩阵。
  • token\_id_i:第 i 个 Token 的整数索引。
  • e_i:对应的 Embedding 向量。

因此,Tokenizer 是文本进入 Embedding 层之前的重要环节。

2.2 为什么不直接按字符切分?

一种最简单的方法是将文本按照字符切分。

例如:

人工智能

["人", "工", "智", "能"]

这种方式可以减少未知字符问题,但存在一些局限:

  • 序列长度可能较长。
  • 单个字符未必具有完整语义。
  • 语言表达效率可能较低。
  • 模型需要通过更多上下文组合学习词语结构。

如果按照完整单词切分,又会遇到另一个问题:

  • 未登录词难以处理。
  • 词形变化会产生大量词表项。
  • 新词和专业术语需要额外处理。
  • 词表可能变得非常庞大。

因此,现代大语言模型普遍采用子词(Subword)或其他细粒度 Token 化方法,在词表规模、序列长度和表达能力之间进行权衡。

2.3 为什么不直接使用完整单词?

假设词表只包含:

play
playing
played
player

那么这些词形可能需要分别存储。

如果使用子词切分,可以将它们拆分成更基础的单位:

play
playing → play + ing
played  → play + ed
player  → play + er

这样可以减少词表重复,并提高对新词和词形变化的处理能力。

实际切分结果由具体 Tokenizer 的词表和算法决定,不一定与上述示例完全一致。

三、Tokenizer 的完整工作流程

Tokenizer 不只是简单地按照空格切分文本。

一个典型的文本编码流程可能包含多个阶段。

3.1 整体处理流程

flowchart TB
    A["原始文本"] --> B["文本规范化"]
    B --> C["预分词"]
    C --> D["子词切分"]
    D --> E["Token 序列"]
    E --> F["词表查找"]
    F --> G["Token ID 序列"]
    G --> H["添加特殊 Token"]
    H --> I["模型输入"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

不同 Tokenizer 的内部实现不完全相同。

有些使用正则表达式进行预分词,有些使用字节级处理,有些会执行 Unicode 规范化,还有些会直接将文本转换为字节序列后再进行子词切分。

因此,上面的流程是概念模型,不代表所有 Tokenizer 都严格按照相同顺序执行所有步骤。

四、第一阶段:文本规范化

文本规范化(Text Normalization)是对输入文本进行必要的标准化处理。

同一个字符可能存在不同的 Unicode 表示形式,文本中也可能包含不同类型的空格、换行和特殊字符。

4.1 Unicode 字符表示

Unicode 为不同语言和符号定义了统一的字符编码体系。

例如:

  • 中文字符。
  • 英文字母。
  • 数字。
  • 标点符号。
  • 数学符号。
  • Emoji。

但需要注意,一个人类看到的字符不一定对应一个 Unicode 码点。

例如,某些 Emoji 由多个码点组合而成。

因此,不能简单地认为:

一个可见字符 = 一个 Unicode 码点 = 一个 Token

这三个概念并不等价。

4.2 Unicode 规范化

Unicode 提供了多种规范化形式:

形式 含义
NFC 规范分解后再组合
NFD 规范分解
NFKC 兼容分解后再组合
NFKD 兼容分解

例如,某些带重音字符可以通过不同的 Unicode 序列表示。

规范化可以将部分等价表示统一起来。

但是否执行 Unicode 规范化,以及使用哪种形式,取决于 Tokenizer 的设计。

不能假设所有模型都会自动执行 NFKC 或 NFC。

4.3 空格与换行处理

空格在 Tokenizer 中可能具有重要意义。

例如:

hello world

与:

helloworld

在许多 Tokenizer 中会得到不同的编码结果。

同样:

Hello
 hello

前导空格也可能影响 Token 切分。

一些 Tokenizer 会将空格信息编码进 Token 的表示中。

因此,不能随意删除文本中的空格,否则可能改变 Token ID 序列。

4.4 大小写处理

英文文本中的大小写可能影响 Tokenizer 的编码结果。

例如:

apple
Apple
APPLE

它们可能对应不同的 Token 或 Token 组合。

是否统一大小写,取决于模型训练时使用的文本处理策略。

如果模型采用区分大小写的 Tokenizer,擅自将文本转换为小写可能改变模型输入。

五、第二阶段:预分词(Pre-tokenization)

预分词是将原始文本划分为较大的候选片段,为后续子词算法提供处理边界。

例如:

I love artificial intelligence.

可能被预分为:

["I", "love", "artificial", "intelligence", "."]

但这并不意味着每个预分词片段最终都会对应一个 Token。

一个预分词片段仍然可能被拆分成多个子词。

5.1 为什么需要预分词?

假设输入:

I love machine learning.

预分词阶段先识别出:

I
love
machine
learning
.

然后子词算法分别处理这些片段。

这样可以减少不必要的跨边界组合,使词表构建和编码过程更容易控制。

5.2 空格分词的局限

空格分词对英文比较直观,但对中文等语言并不适用。

例如:

我喜欢人工智能

中文文本通常不会在每个词语之间插入空格。

因此,Tokenizer 需要采用更适合目标语言的切分策略。

5.3 预分词不等于最终 Token

需要明确区分:

  • Pre-token:预分词阶段产生的片段。
  • Token:最终编码得到的离散单位。

例如:

预分词:
unbelievable

子词切分:
un + believe + able

实际结果取决于模型词表和算法。

六、第三阶段:子词切分(Subword Tokenization)

子词切分是现代大语言模型 Tokenizer 的核心技术之一。

它将文本拆分成词语、词根、词缀或其他可复用的子词单位。

目标是在以下因素之间取得平衡:

  • 词表规模。
  • 序列长度。
  • 未登录词处理能力。
  • 编码效率。
  • 语言覆盖范围。

主流子词算法包括:

  1. BPE(Byte Pair Encoding)。
  2. WordPiece。
  3. Unigram Language Model。

它们的核心思想相似,但词表构建方式和优化目标不同。

七、BPE:字节对编码

BPE(Byte Pair Encoding)最初是一种数据压缩算法,后来被广泛应用于 NLP 中的子词词表构建。

其核心思想是:

从较小的基础单位开始,反复合并训练语料中频繁出现的相邻单位,逐步构建子词词表。

7.1 BPE 的基本思路

假设训练语料中出现:

low
lower
lowest

初始阶段可以将单词拆分为字符:

l o w
l o w e r
l o w e s t

统计相邻字符对的出现频率。

例如:

l o
o w
w e
e r
e s
s t

如果 l o 是当前出现频率最高的字符对,就将它合并为一个新单位:

lo

随后继续统计和合并。

经过多轮合并,可能形成:

low
lower
lowest

最终词表会包含从基础单位到高频子词的多个层级。

7.2 BPE 的训练过程

flowchart TB
    A["准备训练语料"] --> B["拆分为基础单位"]
    B --> C["统计相邻单位频率"]
    C --> D["选择最高频相邻单位"]
    D --> E["执行合并"]
    E --> F["更新词表与语料表示"]
    F --> G{"是否达到合并次数"}
    G -->|"否"| C
    G -->|"是"| H["生成 BPE 词表与合并规则"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

7.3 BPE 的编码过程

训练完成后,Tokenizer 会保存:

  • 词表。
  • 合并规则。
  • 相关预处理配置。

编码新文本时,按照已学习的合并规则,将输入拆分成对应的子词。

例如:

unhappiness

可能被切分为:

un + happiness

也可能进一步拆分。

实际切分由具体词表和合并规则决定。

7.4 Byte-level BPE

传统字符级 BPE 可能遇到未登录字符的问题。

Byte-level BPE 则从 UTF-8 字节序列出发进行处理。

UTF-8 将 Unicode 文本编码为一个或多个字节。

例如:

A

对应一个字节:

0x41

中文字符通常对应多个 UTF-8 字节。

Byte-level BPE 可以将基础单位建立在字节集合之上,再通过合并规则形成更大的 Token。

其优势是:

  • 基础字节集合有限。
  • 能够覆盖任意合法 UTF-8 文本。
  • 不容易因为出现新字符而产生传统意义上的未知 Token。
  • 可以统一处理不同语言和符号。

但字节级处理不代表每个 UTF-8 字节最终都会单独成为一个 Token。

7.5 BPE 的特点

优点:

  • 算法思路直观。
  • 词表构建过程相对容易理解。
  • 能够复用高频子词。
  • 适合多语言和开放词汇场景。

局限:

  • 合并频率不一定等价于语义合理性。
  • 词表大小会影响编码结果。
  • 具体实现可能涉及不同的预分词和字节处理规则。

八、WordPiece:基于子词得分的切分方法

WordPiece 是另一种常见的子词算法,曾广泛应用于 BERT 等模型。

它与 BPE 的主要区别在于词表构建时的选择标准。

8.1 WordPiece 的核心思想

WordPiece 通过统计语言数据中的词语组合关系,评估子词组合的合理性。

与简单选择最高频相邻字符对不同,WordPiece 的经典词表学习思路会根据组合得分选择要加入词表的候选单位。

常见的直观得分形式为:

Score(a,b)= \frac{P(ab)}{P(a)P(b)}

其中:

  • P(ab):组合 ab 的统计概率。
  • P(a):子词 a 的统计概率。
  • P(b):子词 b 的统计概率。

这个形式用于说明组合关联程度的思想,实际训练实现可能采用更复杂的估计和优化策略。

8.2 WordPiece 的编码方式

WordPiece 通常采用贪心最长匹配策略。

假设词表中包含:

play
##ing
##er

输入:

playing

可能切分为:

play + ##ing

其中:

  • play 是词首子词。
  • ##ing 表示该子词接在其他子词之后。

## 是一种常见的子词边界标记形式,具体表示方式取决于 Tokenizer 实现。

如果某个片段无法通过词表匹配,部分 WordPiece 实现会将整个预分词片段映射为 [UNK]。

这与能够通过字节基础单位覆盖任意输入的 Byte-level BPE 有所不同。

8.3 WordPiece 的特点

  • 通过子词组合统计构建词表。
  • 编码时常采用最长匹配策略。
  • 可以处理词形变化和部分未登录词。
  • 具体行为依赖词表及预处理规则。

九、Unigram Language Model:基于概率的子词模型

Unigram Language Model 是一种不同于 BPE 和 WordPiece 的子词建模方法。

它的核心思想是:

从一个较大的候选词表开始,通过概率模型评估候选子词的贡献,逐步删除不重要的子词。

9.1 Unigram 的基本思想

假设候选词表中包含:

a
an
and
apple
app
le

同一段文本可能存在多种切分方式。

例如:

apple

可以存在不同的候选切分路径。

Unigram 模型为子词分配概率,并根据整个序列的概率评估不同切分方式。

对于一个切分序列:

X=(x_1,x_2,\ldots,x_n)

在简化的独立假设下:

P(X)=\prod_{i=1}^{n}P(x_i)

通常选择概率较高的切分路径。

9.2 词表裁剪

Unigram 的训练通常从较大的候选词表开始。

其主要过程:

  1. 初始化候选子词词表。
  2. 为候选子词估计概率。
  3. 计算不同子词对语料编码目标的贡献。
  4. 删除贡献较小的候选子词。
  5. 重新估计概率。
  6. 重复执行,直到达到目标词表规模。

9.3 Unigram 与 BPE 的区别

对比维度 BPE Unigram
初始词表 基础单位 较大候选词表
核心操作 合并相邻单位 删除候选子词
优化思路 高频合并 概率模型
切分方式 依据合并规则 根据概率选择路径
典型特点 合并过程直观 能表达多种切分可能性

十、SentencePiece:统一的 Tokenizer 实现框架

SentencePiece 经常与 BPE、Unigram 一起出现,但需要注意:

SentencePiece 不是与 BPE、WordPiece、Unigram 完全同一层级的算法。

它是一个面向文本分词和子词建模的工具库,支持 BPE、Unigram 等模型。

10.1 为什么需要 SentencePiece?

传统 NLP 处理流程通常依赖语言专用的预分词工具。

例如:

  • 英文通过空格和规则切分。
  • 中文依赖中文分词工具。
  • 日文依赖日文分词工具。

这种方式会引入语言特定的预处理依赖。

SentencePiece 的目标是尽可能直接从原始文本学习子词模型,降低对外部分词工具的依赖。

10.2 SentencePiece 的特点

  • 可以直接处理原始文本。
  • 支持 BPE 和 Unigram 等模型。
  • 支持多语言文本。
  • 支持字符覆盖率等配置。
  • 可以将空格编码为可见的特殊标记形式。

例如,在 SentencePiece 的常见表示中,空格可能显示为:

▁Hello
▁world

这里的 ▁ 用于表示空格边界。

它不是原始文本中的普通字符,而是 SentencePiece 的表示约定。

10.3 算法与工具的层级关系

名称 定位 主要作用
BPE 子词算法 通过合并构建词表
WordPiece 子词算法 基于组合得分构建词表
Unigram 子词概率模型 通过概率与词表裁剪学习切分
SentencePiece 工具与实现框架 支持子词模型训练和编码

十一、不同 Tokenizer 算法对比

三种主流子词算法的设计目标相似,但训练策略不同。

对比维度 BPE WordPiece Unigram
核心机制 频率合并 组合得分 概率建模
词表构建 逐步增加 逐步选择 逐步裁剪
编码方式 合并规则 常用最长匹配 概率最优或近似最优切分
典型应用 GPT 系列中的多种实现 BERT 经典实现 SentencePiece 常用模型
主要特点 过程直观 子词匹配明确 可以考虑多种切分路径

需要注意,具体模型的 Tokenizer 往往还包含预分词、字节处理、特殊 Token、规范化和后处理等配置。

仅知道使用 BPE 或 WordPiece,并不足以完全复现一个模型的 Tokenizer。

十二、第四阶段:Token ID 映射

完成子词切分后,Tokenizer 需要将每个 Token 映射为整数 ID。

12.1 Vocabulary 词表

Vocabulary(词表)保存 Token 与 Token ID 之间的映射关系。

例如:

Token Token ID
hello 101
world 102
machine 103
learning 104
! 105

词表可以理解为一个映射结构:

Vocabulary: Token\rightarrow ID

例如:

Vocabulary("hello")=101

12.2 Token ID 映射过程

假设 Tokenizer 输出:

["hello", "world", "!"]

根据词表查询:

hello → 101
world → 102
!     → 105

最终得到:

[101, 102, 105]

这就是模型可以使用的离散输入索引。

12.3 词表大小与 Embedding 矩阵

假设:

  • Vocabulary Size:V=50000。
  • Embedding Dimension:d=768。

Embedding 矩阵:

E\in\mathbb{R}^{50000\times768}

每个 Token ID 都可以作为 Embedding 矩阵的行索引。

flowchart TB
    A["Token 序列"] --> B["Vocabulary 查找"]
    B --> C["Token ID 序列"]
    C --> D["Embedding 参数矩阵"]
    D --> E["按 ID 获取向量"]
    E --> F["模型输入张量"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要注意:

  • Vocabulary Size 决定 Embedding 矩阵的行数。
  • Embedding Dimension 决定每个向量的维度。
  • Token ID 不是 Embedding 向量。
  • Token ID 也不包含语义大小关系。

十三、第五阶段:特殊 Token

普通 Token 用于表示文本内容,特殊 Token 则用于表达模型任务、边界、控制和结构信息。

不同模型的特殊 Token 设计可能存在很大差异。

13.1 常见特殊 Token

Token 常见用途
[UNK] 未知 Token
[PAD] 填充位置
[BOS] 序列开始
[EOS] 序列结束
[CLS] 分类任务中的特殊位置
[SEP] 分隔不同文本片段
[MASK] 遮蔽 Token
[FIM_PREFIX] 部分填空式生成任务的前缀标记
[FIM_SUFFIX] 部分填空式生成任务的后缀标记
[FIM_MIDDLE] 部分填空式生成任务的中间标记

这些名称是常见表示方式,不意味着所有模型都包含它们,也不意味着它们在不同模型中的具体语义完全一致。

13.2 BOS 与 EOS

BOS(Beginning of Sequence)通常表示序列开始。

EOS(End of Sequence)通常表示序列结束。

例如:

[BOS] 我喜欢人工智能 [EOS]

它们可以帮助模型识别序列边界。

但并不是所有模型都使用独立的 BOS 和 EOS Token。

13.3 PAD

PAD 用于将不同长度的序列填充到相同长度。

例如:

序列 A:
[101, 102, 103]

序列 B:
[201, 202]

填充后:
[101, 102, 103]
[201, 202, PAD]

在批量训练中,PAD 可以使张量具有统一形状。

通常还需要配合 Attention Mask,避免模型将填充位置当成有效内容处理。

PAD 是否参与损失计算,也需要根据具体训练任务设置。

13.4 MASK

MASK 常用于 Masked Language Modeling。

例如:

原始文本:
我喜欢学习机器学习。

遮蔽后:
我喜欢学习 [MASK] 学习。

模型需要根据上下文预测被遮蔽的内容。

BERT 的经典预训练任务就使用了这一机制。

但自回归 GPT 类模型通常不使用 BERT 式的 [MASK] 训练方式。

13.5 Chat 模型的结构 Token