一、什么是 Tokenizer?
Tokenizer,通常称为分词器或标记器,是自然语言处理系统中负责将文本转换为 Token 序列的组件。
在大语言模型中,Tokenizer 位于原始文本与神经网络之间。
人类输入的是自然语言:
人工智能正在改变软件开发方式。
模型实际接收的通常不是原始字符串,而是经过 Tokenizer 处理后的 Token ID 序列:
原始文本
↓
Tokenizer
↓
Token 序列
↓
Token ID
↓
Embedding
↓
Transformer
例如:
输入:
我喜欢学习人工智能。
Token:
["我", "喜欢", "学习", "人工", "智能", "。"]
Token ID:
[102, 356, 1287, 2048, 3096, 17]
以上仅为示意,实际切分结果和 ID 取决于具体模型使用的 Tokenizer。
1.1 Tokenizer 的核心职责
Tokenizer 主要完成以下工作:
- 文本规范化:根据具体规则处理文本中的空格、字符形式和特殊符号。
- 文本预处理:识别文本结构,为后续切分做准备。
- Token 切分:将文本拆分成模型定义的离散单位。
- Token ID 映射:将 Token 转换为词表中的整数索引。
- 特殊 Token 处理:识别或插入任务所需的控制标记。
- 文本解码:将 Token ID 序列还原为文本。
Tokenizer 不负责理解文本含义,也不直接执行语言推理。它负责建立文本与模型输入表示之间的映射关系。
1.2 Tokenizer、Token 与 Token ID 的区别
这三个概念容易混淆。
| 概念 | 含义 | 示例 |
|---|---|---|
| Tokenizer | 文本编码与解码工具 | BPE Tokenizer |
| Token | 切分后的离散单位 | 人工 |
| Token ID | Token 对应的整数索引 | 2048 |
可以理解为:
- Tokenizer 是处理工具。
- Token 是处理结果中的离散单位。
- Token ID 是 Token 在词表中的编号。
Token ID 只是索引,不具有天然的语义大小关系。
例如:
Token Token ID
--------------------
苹果 102
香蕉 356
计算机 1287
102 并不比 356 更重要,两个 ID 之间的数值差也不代表语义距离。
二、为什么大语言模型需要 Tokenizer?
计算机可以存储和处理文本,但神经网络通常需要将输入转换为数值张量。
Tokenizer 负责将文本转换为模型能够处理的离散索引。
2.1 原始文本无法直接作为 Embedding 索引
假设用户输入:
我喜欢机器学习。
原始文本是字符串,不能直接作为 Embedding 矩阵的行索引。
模型需要先将其转换为 Token ID:
原始文本:
我喜欢机器学习。
Token ID:
[102, 356, 1287, 2560]
再通过 Embedding 矩阵进行查找:
其中:
- E:Embedding 参数矩阵。
- token\_id_i:第 i 个 Token 的整数索引。
- e_i:对应的 Embedding 向量。
因此,Tokenizer 是文本进入 Embedding 层之前的重要环节。
2.2 为什么不直接按字符切分?
一种最简单的方法是将文本按照字符切分。
例如:
人工智能
["人", "工", "智", "能"]
这种方式可以减少未知字符问题,但存在一些局限:
- 序列长度可能较长。
- 单个字符未必具有完整语义。
- 语言表达效率可能较低。
- 模型需要通过更多上下文组合学习词语结构。
如果按照完整单词切分,又会遇到另一个问题:
- 未登录词难以处理。
- 词形变化会产生大量词表项。
- 新词和专业术语需要额外处理。
- 词表可能变得非常庞大。
因此,现代大语言模型普遍采用子词(Subword)或其他细粒度 Token 化方法,在词表规模、序列长度和表达能力之间进行权衡。
2.3 为什么不直接使用完整单词?
假设词表只包含:
play
playing
played
player
那么这些词形可能需要分别存储。
如果使用子词切分,可以将它们拆分成更基础的单位:
play
playing → play + ing
played → play + ed
player → play + er
这样可以减少词表重复,并提高对新词和词形变化的处理能力。
实际切分结果由具体 Tokenizer 的词表和算法决定,不一定与上述示例完全一致。
三、Tokenizer 的完整工作流程
Tokenizer 不只是简单地按照空格切分文本。
一个典型的文本编码流程可能包含多个阶段。
3.1 整体处理流程
flowchart TB
A["原始文本"] --> B["文本规范化"]
B --> C["预分词"]
C --> D["子词切分"]
D --> E["Token 序列"]
E --> F["词表查找"]
F --> G["Token ID 序列"]
G --> H["添加特殊 Token"]
H --> I["模型输入"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
不同 Tokenizer 的内部实现不完全相同。
有些使用正则表达式进行预分词,有些使用字节级处理,有些会执行 Unicode 规范化,还有些会直接将文本转换为字节序列后再进行子词切分。
因此,上面的流程是概念模型,不代表所有 Tokenizer 都严格按照相同顺序执行所有步骤。
四、第一阶段:文本规范化
文本规范化(Text Normalization)是对输入文本进行必要的标准化处理。
同一个字符可能存在不同的 Unicode 表示形式,文本中也可能包含不同类型的空格、换行和特殊字符。
4.1 Unicode 字符表示
Unicode 为不同语言和符号定义了统一的字符编码体系。
例如:
- 中文字符。
- 英文字母。
- 数字。
- 标点符号。
- 数学符号。
- Emoji。
但需要注意,一个人类看到的字符不一定对应一个 Unicode 码点。
例如,某些 Emoji 由多个码点组合而成。
因此,不能简单地认为:
一个可见字符 = 一个 Unicode 码点 = 一个 Token
这三个概念并不等价。
4.2 Unicode 规范化
Unicode 提供了多种规范化形式:
| 形式 | 含义 |
|---|---|
| NFC | 规范分解后再组合 |
| NFD | 规范分解 |
| NFKC | 兼容分解后再组合 |
| NFKD | 兼容分解 |
例如,某些带重音字符可以通过不同的 Unicode 序列表示。
规范化可以将部分等价表示统一起来。
但是否执行 Unicode 规范化,以及使用哪种形式,取决于 Tokenizer 的设计。
不能假设所有模型都会自动执行 NFKC 或 NFC。
4.3 空格与换行处理
空格在 Tokenizer 中可能具有重要意义。
例如:
hello world
与:
helloworld
在许多 Tokenizer 中会得到不同的编码结果。
同样:
Hello
hello
前导空格也可能影响 Token 切分。
一些 Tokenizer 会将空格信息编码进 Token 的表示中。
因此,不能随意删除文本中的空格,否则可能改变 Token ID 序列。
4.4 大小写处理
英文文本中的大小写可能影响 Tokenizer 的编码结果。
例如:
apple
Apple
APPLE
它们可能对应不同的 Token 或 Token 组合。
是否统一大小写,取决于模型训练时使用的文本处理策略。
如果模型采用区分大小写的 Tokenizer,擅自将文本转换为小写可能改变模型输入。
五、第二阶段:预分词(Pre-tokenization)
预分词是将原始文本划分为较大的候选片段,为后续子词算法提供处理边界。
例如:
I love artificial intelligence.
可能被预分为:
["I", "love", "artificial", "intelligence", "."]
但这并不意味着每个预分词片段最终都会对应一个 Token。
一个预分词片段仍然可能被拆分成多个子词。
5.1 为什么需要预分词?
假设输入:
I love machine learning.
预分词阶段先识别出:
I
love
machine
learning
.
然后子词算法分别处理这些片段。
这样可以减少不必要的跨边界组合,使词表构建和编码过程更容易控制。
5.2 空格分词的局限
空格分词对英文比较直观,但对中文等语言并不适用。
例如:
我喜欢人工智能
中文文本通常不会在每个词语之间插入空格。
因此,Tokenizer 需要采用更适合目标语言的切分策略。
5.3 预分词不等于最终 Token
需要明确区分:
- Pre-token:预分词阶段产生的片段。
- Token:最终编码得到的离散单位。
例如:
预分词:
unbelievable
子词切分:
un + believe + able
实际结果取决于模型词表和算法。
六、第三阶段:子词切分(Subword Tokenization)
子词切分是现代大语言模型 Tokenizer 的核心技术之一。
它将文本拆分成词语、词根、词缀或其他可复用的子词单位。
目标是在以下因素之间取得平衡:
- 词表规模。
- 序列长度。
- 未登录词处理能力。
- 编码效率。
- 语言覆盖范围。
主流子词算法包括:
- BPE(Byte Pair Encoding)。
- WordPiece。
- Unigram Language Model。
它们的核心思想相似,但词表构建方式和优化目标不同。
七、BPE:字节对编码
BPE(Byte Pair Encoding)最初是一种数据压缩算法,后来被广泛应用于 NLP 中的子词词表构建。
其核心思想是:
从较小的基础单位开始,反复合并训练语料中频繁出现的相邻单位,逐步构建子词词表。
7.1 BPE 的基本思路
假设训练语料中出现:
low
lower
lowest
初始阶段可以将单词拆分为字符:
l o w
l o w e r
l o w e s t
统计相邻字符对的出现频率。
例如:
l o
o w
w e
e r
e s
s t
如果 l o 是当前出现频率最高的字符对,就将它合并为一个新单位:
lo
随后继续统计和合并。
经过多轮合并,可能形成:
low
lower
lowest
最终词表会包含从基础单位到高频子词的多个层级。
7.2 BPE 的训练过程
flowchart TB
A["准备训练语料"] --> B["拆分为基础单位"]
B --> C["统计相邻单位频率"]
C --> D["选择最高频相邻单位"]
D --> E["执行合并"]
E --> F["更新词表与语料表示"]
F --> G{"是否达到合并次数"}
G -->|"否"| C
G -->|"是"| H["生成 BPE 词表与合并规则"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
7.3 BPE 的编码过程
训练完成后,Tokenizer 会保存:
- 词表。
- 合并规则。
- 相关预处理配置。
编码新文本时,按照已学习的合并规则,将输入拆分成对应的子词。
例如:
unhappiness
可能被切分为:
un + happiness
也可能进一步拆分。
实际切分由具体词表和合并规则决定。
7.4 Byte-level BPE
传统字符级 BPE 可能遇到未登录字符的问题。
Byte-level BPE 则从 UTF-8 字节序列出发进行处理。
UTF-8 将 Unicode 文本编码为一个或多个字节。
例如:
A
对应一个字节:
0x41
中文字符通常对应多个 UTF-8 字节。
Byte-level BPE 可以将基础单位建立在字节集合之上,再通过合并规则形成更大的 Token。
其优势是:
- 基础字节集合有限。
- 能够覆盖任意合法 UTF-8 文本。
- 不容易因为出现新字符而产生传统意义上的未知 Token。
- 可以统一处理不同语言和符号。
但字节级处理不代表每个 UTF-8 字节最终都会单独成为一个 Token。
7.5 BPE 的特点
优点:
- 算法思路直观。
- 词表构建过程相对容易理解。
- 能够复用高频子词。
- 适合多语言和开放词汇场景。
局限:
- 合并频率不一定等价于语义合理性。
- 词表大小会影响编码结果。
- 具体实现可能涉及不同的预分词和字节处理规则。
八、WordPiece:基于子词得分的切分方法
WordPiece 是另一种常见的子词算法,曾广泛应用于 BERT 等模型。
它与 BPE 的主要区别在于词表构建时的选择标准。
8.1 WordPiece 的核心思想
WordPiece 通过统计语言数据中的词语组合关系,评估子词组合的合理性。
与简单选择最高频相邻字符对不同,WordPiece 的经典词表学习思路会根据组合得分选择要加入词表的候选单位。
常见的直观得分形式为:
其中:
- P(ab):组合 ab 的统计概率。
- P(a):子词 a 的统计概率。
- P(b):子词 b 的统计概率。
这个形式用于说明组合关联程度的思想,实际训练实现可能采用更复杂的估计和优化策略。
8.2 WordPiece 的编码方式
WordPiece 通常采用贪心最长匹配策略。
假设词表中包含:
play
##ing
##er
输入:
playing
可能切分为:
play + ##ing
其中:
play是词首子词。##ing表示该子词接在其他子词之后。
## 是一种常见的子词边界标记形式,具体表示方式取决于 Tokenizer 实现。
如果某个片段无法通过词表匹配,部分 WordPiece 实现会将整个预分词片段映射为 [UNK]。
这与能够通过字节基础单位覆盖任意输入的 Byte-level BPE 有所不同。
8.3 WordPiece 的特点
- 通过子词组合统计构建词表。
- 编码时常采用最长匹配策略。
- 可以处理词形变化和部分未登录词。
- 具体行为依赖词表及预处理规则。
九、Unigram Language Model:基于概率的子词模型
Unigram Language Model 是一种不同于 BPE 和 WordPiece 的子词建模方法。
它的核心思想是:
从一个较大的候选词表开始,通过概率模型评估候选子词的贡献,逐步删除不重要的子词。
9.1 Unigram 的基本思想
假设候选词表中包含:
a
an
and
apple
app
le
同一段文本可能存在多种切分方式。
例如:
apple
可以存在不同的候选切分路径。
Unigram 模型为子词分配概率,并根据整个序列的概率评估不同切分方式。
对于一个切分序列:
在简化的独立假设下:
通常选择概率较高的切分路径。
9.2 词表裁剪
Unigram 的训练通常从较大的候选词表开始。
其主要过程:
- 初始化候选子词词表。
- 为候选子词估计概率。
- 计算不同子词对语料编码目标的贡献。
- 删除贡献较小的候选子词。
- 重新估计概率。
- 重复执行,直到达到目标词表规模。
9.3 Unigram 与 BPE 的区别
| 对比维度 | BPE | Unigram |
|---|---|---|
| 初始词表 | 基础单位 | 较大候选词表 |
| 核心操作 | 合并相邻单位 | 删除候选子词 |
| 优化思路 | 高频合并 | 概率模型 |
| 切分方式 | 依据合并规则 | 根据概率选择路径 |
| 典型特点 | 合并过程直观 | 能表达多种切分可能性 |
十、SentencePiece:统一的 Tokenizer 实现框架
SentencePiece 经常与 BPE、Unigram 一起出现,但需要注意:
SentencePiece 不是与 BPE、WordPiece、Unigram 完全同一层级的算法。
它是一个面向文本分词和子词建模的工具库,支持 BPE、Unigram 等模型。
10.1 为什么需要 SentencePiece?
传统 NLP 处理流程通常依赖语言专用的预分词工具。
例如:
- 英文通过空格和规则切分。
- 中文依赖中文分词工具。
- 日文依赖日文分词工具。
这种方式会引入语言特定的预处理依赖。
SentencePiece 的目标是尽可能直接从原始文本学习子词模型,降低对外部分词工具的依赖。
10.2 SentencePiece 的特点
- 可以直接处理原始文本。
- 支持 BPE 和 Unigram 等模型。
- 支持多语言文本。
- 支持字符覆盖率等配置。
- 可以将空格编码为可见的特殊标记形式。
例如,在 SentencePiece 的常见表示中,空格可能显示为:
▁Hello
▁world
这里的 ▁ 用于表示空格边界。
它不是原始文本中的普通字符,而是 SentencePiece 的表示约定。
10.3 算法与工具的层级关系
| 名称 | 定位 | 主要作用 |
|---|---|---|
| BPE | 子词算法 | 通过合并构建词表 |
| WordPiece | 子词算法 | 基于组合得分构建词表 |
| Unigram | 子词概率模型 | 通过概率与词表裁剪学习切分 |
| SentencePiece | 工具与实现框架 | 支持子词模型训练和编码 |
十一、不同 Tokenizer 算法对比
三种主流子词算法的设计目标相似,但训练策略不同。
| 对比维度 | BPE | WordPiece | Unigram |
|---|---|---|---|
| 核心机制 | 频率合并 | 组合得分 | 概率建模 |
| 词表构建 | 逐步增加 | 逐步选择 | 逐步裁剪 |
| 编码方式 | 合并规则 | 常用最长匹配 | 概率最优或近似最优切分 |
| 典型应用 | GPT 系列中的多种实现 | BERT 经典实现 | SentencePiece 常用模型 |
| 主要特点 | 过程直观 | 子词匹配明确 | 可以考虑多种切分路径 |
需要注意,具体模型的 Tokenizer 往往还包含预分词、字节处理、特殊 Token、规范化和后处理等配置。
仅知道使用 BPE 或 WordPiece,并不足以完全复现一个模型的 Tokenizer。
十二、第四阶段:Token ID 映射
完成子词切分后,Tokenizer 需要将每个 Token 映射为整数 ID。
12.1 Vocabulary 词表
Vocabulary(词表)保存 Token 与 Token ID 之间的映射关系。
例如:
| Token | Token ID |
|---|---|
| hello | 101 |
| world | 102 |
| machine | 103 |
| learning | 104 |
| ! | 105 |
词表可以理解为一个映射结构:
例如:
12.2 Token ID 映射过程
假设 Tokenizer 输出:
["hello", "world", "!"]
根据词表查询:
hello → 101
world → 102
! → 105
最终得到:
[101, 102, 105]
这就是模型可以使用的离散输入索引。
12.3 词表大小与 Embedding 矩阵
假设:
- Vocabulary Size:V=50000。
- Embedding Dimension:d=768。
Embedding 矩阵:
每个 Token ID 都可以作为 Embedding 矩阵的行索引。
flowchart TB
A["Token 序列"] --> B["Vocabulary 查找"]
B --> C["Token ID 序列"]
C --> D["Embedding 参数矩阵"]
D --> E["按 ID 获取向量"]
E --> F["模型输入张量"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意:
- Vocabulary Size 决定 Embedding 矩阵的行数。
- Embedding Dimension 决定每个向量的维度。
- Token ID 不是 Embedding 向量。
- Token ID 也不包含语义大小关系。
十三、第五阶段:特殊 Token
普通 Token 用于表示文本内容,特殊 Token 则用于表达模型任务、边界、控制和结构信息。
不同模型的特殊 Token 设计可能存在很大差异。
13.1 常见特殊 Token
| Token | 常见用途 |
|---|---|
[UNK] |
未知 Token |
[PAD] |
填充位置 |
[BOS] |
序列开始 |
[EOS] |
序列结束 |
[CLS] |
分类任务中的特殊位置 |
[SEP] |
分隔不同文本片段 |
[MASK] |
遮蔽 Token |
[FIM_PREFIX] |
部分填空式生成任务的前缀标记 |
[FIM_SUFFIX] |
部分填空式生成任务的后缀标记 |
[FIM_MIDDLE] |
部分填空式生成任务的中间标记 |
这些名称是常见表示方式,不意味着所有模型都包含它们,也不意味着它们在不同模型中的具体语义完全一致。
13.2 BOS 与 EOS
BOS(Beginning of Sequence)通常表示序列开始。
EOS(End of Sequence)通常表示序列结束。
例如:
[BOS] 我喜欢人工智能 [EOS]
它们可以帮助模型识别序列边界。
但并不是所有模型都使用独立的 BOS 和 EOS Token。
13.3 PAD
PAD 用于将不同长度的序列填充到相同长度。
例如:
序列 A:
[101, 102, 103]
序列 B:
[201, 202]
填充后:
[101, 102, 103]
[201, 202, PAD]
在批量训练中,PAD 可以使张量具有统一形状。
通常还需要配合 Attention Mask,避免模型将填充位置当成有效内容处理。
PAD 是否参与损失计算,也需要根据具体训练任务设置。
13.4 MASK
MASK 常用于 Masked Language Modeling。
例如:
原始文本:
我喜欢学习机器学习。
遮蔽后:
我喜欢学习 [MASK] 学习。
模型需要根据上下文预测被遮蔽的内容。
BERT 的经典预训练任务就使用了这一机制。
但自回归 GPT 类模型通常不使用 BERT 式的 [MASK] 训练方式。