一、什么是 Token?
Token 是大语言模型处理文本时使用的基本单位。
大语言模型并不是直接读取人类看到的文字,而是先通过 Tokenizer 将文本切分为一系列 Token,再将每个 Token 转换为对应的整数 ID,最后输入神经网络进行计算。
一个 Token 可能是:
- 一个完整的英文单词。
- 一个英文单词的一部分。
- 一个汉字。
- 多个汉字组成的文本片段。
- 一个标点符号。
- 一个数字或特殊符号。
- 一个特殊控制标记。
例如:
Artificial intelligence is changing the world.
可能被切分为:
["Artificial", " intelligence", " is", " changing", " the", " world", "."]
中文文本:
人工智能正在改变世界。
可能被切分为:
["人工", "智能", "正在", "改变", "世界", "。"]
以上仅为示意,实际切分结果取决于模型使用的 Tokenizer 和词表。
Token 不等于汉字,也不等于单词。
它是模型词表中定义的一种离散文本单位。
二、为什么大语言模型需要 Token?
计算机可以存储文本,但神经网络不能直接按照人类语言的语义进行矩阵运算。
神经网络的核心计算建立在数值、向量和矩阵之上。
因此,需要将自然语言转换为模型能够处理的数值表示。
整个过程可以分为三个阶段:
- 分词:将文本切分为 Token。
- 编码:将 Token 映射为整数 ID。
- 向量化:将 Token ID 映射为连续向量。
整体流程:
flowchart TB
A["原始文本"] --> B["Tokenizer 分词"]
B --> C["Token 序列"]
C --> D["Token ID 编码"]
D --> E["Embedding 向量映射"]
E --> F["Transformer 神经网络"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要区分三个概念:
| 概念 | 含义 | 数据形式 |
|---|---|---|
| Token | 文本切分后的基本单位 | 文本片段 |
| Token ID | Token 在词表中的索引 | 整数 |
| Embedding | Token ID 对应的向量表示 | 浮点数向量 |
例如:
原始文本:人工智能
Token:
["人工", "智能"]
Token ID:
[1024, 2056]
Embedding:
[
[0.12, -0.31, 0.45, ...],
[0.28, 0.16, 0.73, ...]
]
以上编号和向量均为示意数据。
Tokenization 解决文本如何切分的问题,Token ID 解决文本如何编号的问题,Embedding 则解决模型如何通过向量进行计算的问题。
三、Tokenizer 是什么?
Tokenizer(分词器)是负责文本与 Token 序列转换的组件。
它通常包含:
- 预处理规则。
- 分词算法。
- 词表(Vocabulary)。
- 编码逻辑。
- 解码逻辑。
- 特殊 Token 处理规则。
Tokenizer 主要承担两个方向的转换。
3.1 Encoding:文本编码
Encoding 是将原始文本转换为 Token ID 序列的过程。
例如:
输入:
I love artificial intelligence.
假设经过分词得到:
["I", " love", " artificial", " intelligence", "."]
再根据词表映射为:
[40, 1024, 2056, 3108, 13]
实际处理过程:
flowchart TB
A["原始文本"] --> B["文本预处理"]
B --> C["分词算法"]
C --> D["生成 Token"]
D --> E["查询词表"]
E --> F["生成 Token ID 序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.2 Decoding:文本解码
Decoding 是将 Token ID 序列转换回文本的过程。
例如:
Token ID:
[40, 1024, 2056, 3108, 13]
通过词表查询,得到:
["I", " love", " artificial", " intelligence", "."]
再按照 Tokenizer 的解码规则合并,恢复为:
I love artificial intelligence.
需要注意,解码过程并不一定是简单的字符串拼接。
不同 Tokenizer 可能涉及空格恢复、字节解码、特殊 Token 处理等规则。
3.3 Tokenizer 与模型的关系
Tokenizer 和语言模型通常是配套使用的。
模型训练时使用特定的词表和 Token ID 编码体系,推理时也需要使用兼容的 Tokenizer。
如果使用了不匹配的 Tokenizer,即使模型权重正确,也可能导致输入编码和输出解码出现错误。
例如:
- Token ID 对应的词表含义不一致。
- 特殊 Token 的 ID 不一致。
- 对话控制标记处理不一致。
- 文本解码结果出现异常。
因此,Tokenizer 不是一个可以随意替换的外围工具,而是模型输入输出体系的重要组成部分。
四、Token 是如何切分出来的?
Tokenization 的核心问题是:
一段连续文本,应该按照什么规则切分成 Token?
最简单的方式是按照字符、单词或空格切分,但这些方法很难满足多语言、大规模词汇和未知词处理的需求。
目前主流大语言模型通常使用子词级别(Subword)的分词方法。
4.1 字符级分词
字符级分词将文本拆分为单个字符。
例如:
人工智能正在发展
切分结果:
["人", "工", "智", "能", "正", "在", "发", "展"]
优点:
- 词表规模较小。
- 不容易出现未知字符。
- 可以组合出任意字符序列。
缺点:
- 序列长度较长。
- 一个完整词语可能被拆成多个字符。
- 模型需要通过更多位置学习词语之间的关系。
4.2 词级分词
词级分词按照完整词语切分。
例如:
人工智能正在发展
切分结果:
["人工智能", "正在", "发展"]
优点:
- 保留较完整的词语单位。
- 序列长度相对较短。
- 对常见词语比较直观。
缺点:
- 词表规模可能非常大。
- 新词和生僻词难以处理。
- 未登录词需要额外处理。
- 多语言和复杂形态语言的词汇组合问题较多。
4.3 子词级分词
子词级分词将文本拆分为完整词语和词语片段的组合。
例如:
unbelievable
可能被拆分为:
["un", "believ", "able"]
这样既可以保留常见词片段,也能够通过组合处理未直接出现在词表中的词语。
子词分词在词表规模和序列长度之间取得了较好的平衡,因此被广泛用于现代大语言模型。
4.4 三种分词方式对比
| 分词方式 | 切分单位 | 词表规模 | 序列长度 | 未知词处理 |
|---|---|---|---|---|
| 字符级 | 单个字符 | 较小 | 较长 | 通常较容易 |
| 词级 | 完整词语 | 较大 | 较短 | 相对困难 |
| 子词级 | 词语或词语片段 | 中等 | 中等 | 通常较灵活 |
现代 Tokenizer 并不一定严格按照语言学意义上的词语边界切分,而是根据训练得到的词表和算法规则确定 Token。
五、主流 Tokenizer 算法
常见的子词分词算法包括:
- BPE(Byte Pair Encoding)。
- WordPiece。
- Unigram Language Model。
- SentencePiece。
它们的目标都是构建一个有限规模的词表,同时尽可能高效地表示各种输入文本。
5.1 BPE:Byte Pair Encoding
BPE 是一种基于频率统计和迭代合并的子词构建算法。
它最初源于数据压缩领域,后来被广泛应用于自然语言处理。
其基本思想是:
从较小的基础符号开始,不断合并语料中最常见的相邻符号,逐步构建子词词表。
BPE 的基本过程
假设训练语料中有以下单词:
low
lower
lowest
newer
初始时,可以将单词拆分为字符:
l o w
l o w e r
l o w e s t
n e w e r
然后统计相邻符号组合的频率。
例如:
l + o
o + w
w + e
e + r
如果 l + o 出现频率最高,就将它们合并为一个新的符号:
lo
之后继续统计和合并。
经过多轮迭代,可能逐步形成:
lo
low
er
est
最终得到一个包含不同长度子词片段的词表。
BPE 的处理流程
flowchart TB
A["准备训练语料"] --> B["拆分为基础符号"]
B --> C["统计相邻符号频率"]
C --> D["选择最高频组合"]
D --> E["合并相邻符号"]
E --> F{"是否达到词表规模"}
F -->|"否"| C
F -->|"是"| G["得到 BPE 词表"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,以上是便于理解的字符级 BPE 示意。
实际模型可能使用字节级 BPE(Byte-level BPE),先将文本转换为字节表示,再执行子词合并。这样能够更灵活地处理不同语言、特殊字符和未知字符。
BPE 的优点
- 词表规模相对可控。
- 高频词语可以形成完整 Token。
- 低频词语可以拆分为子词。
- 能够处理大量未见过的词语组合。
- 适合多语言和代码等文本场景。
BPE 的局限
- 高频组合会影响词表构建结果。
- 不一定符合自然语言的语义边界。
- 不同语料可能产生不同的词表。
- 对不同语言的 Token 效率可能存在差异。
5.2 WordPiece
WordPiece 也是一种子词分词算法,常见于 BERT 系列模型。
它与 BPE 的核心区别在于合并策略。
BPE 通常按照相邻符号的出现频率选择合并对象,而 WordPiece 会根据候选组合对语言模型目标或词表得分的改善程度进行选择。
简化理解:
- BPE:更关注相邻符号组合的频率。
- WordPiece:更关注合并后对模型语言建模效果的贡献。
WordPiece 常使用特殊前缀标记非词首子词。
例如:
playing
可能表示为:
["play", "##ing"]
其中 ##ing 表示该片段不是一个新词的开头。
实际切分取决于具体词表。
5.3 Unigram Language Model
Unigram 是另一种子词建模方法。
与 BPE 从基础符号不断合并不同,Unigram 通常从一个较大的候选子词词表开始,通过概率模型评估不同子词的价值,再逐步删除贡献较小的候选项。
其基本思想是:
- 构建初始候选词表。
- 为候选子词估计概率。
- 计算删除某些子词对整体语料概率的影响。
- 删除影响较小的子词。
- 重复迭代,直到达到目标词表规模。
它通常通过概率模型处理同一文本可能存在的多种切分方式。
5.4 SentencePiece
SentencePiece 是一种语言无关的子词分词工具和框架,可以支持 BPE 和 Unigram 等算法。
它的重要特点是:
- 直接处理原始文本。
- 不强制依赖空格作为词边界。
- 支持多语言文本。
- 可以统一处理不同字符体系。
- 支持子词训练和编码。
SentencePiece 常用于多语言模型及开源大语言模型。
需要区分:
BPE、WordPiece、Unigram 是分词算法或建模方法;SentencePiece 是实现这些分词方法的工具框架。
它们不是完全处于同一分类层级的概念。
5.5 主流算法对比
| 算法 | 核心机制 | 词表构建方式 | 代表性应用 |
|---|---|---|---|
| BPE | 高频相邻符号合并 | 逐步合并 | GPT 系列的部分 Tokenizer |
| WordPiece | 根据组合得分选择子词 | 逐步扩展 | BERT |
| Unigram | 根据概率模型筛选子词 | 逐步裁剪 | SentencePiece Unigram |
| SentencePiece | 统一文本处理与子词建模 | 支持 BPE、Unigram | 多语言模型等 |
需要注意,模型系列的 Tokenizer 可能随版本变化,不能仅凭模型名称判断其具体算法和配置。
六、词表 Vocabulary 与 Token ID
Tokenizer 将文本切分为 Token 后,还需要为每个 Token 分配一个唯一的整数编号。
这个映射关系由词表(Vocabulary)维护。
6.1 什么是词表?
词表是 Token 与 Token ID 之间的映射集合。
例如:
| Token | Token ID |
|---|---|
| the | 1 |
| a | 2 |
| computer | 3 |
| artificial | 4 |
| intelligence | 5 |
| . | 6 |
实际模型词表通常包含数万甚至更多 Token。
词表大小通常记为:
其中 V 表示词表中的 Token 数量。
6.2 Token ID 是什么?
Token ID 是 Token 在词表中的整数索引。
例如:
文本:
the computer
经过 Tokenizer 后:
Token:
["the", " computer"]
映射为:
Token ID:
[1, 3]
需要注意:
Token ID 只是索引,不表示语义大小。
例如:
不能因此认为 banana 的语义比 apple 大,也不能认为它们的语义距离是 100。
Token ID 的数值通常只是词表构建过程中分配的编号。
6.3 词表大小与模型输出层
词表大小不仅影响 Tokenizer,也直接影响模型的输入和输出结构。
假设:
- 词表大小为 V。
- 模型隐藏维度为 d。
Embedding 矩阵通常可以表示为:
对于自回归语言模型,输出投影层通常需要将隐藏状态映射到词表维度:
因此,模型可以为词表中的每一个 Token 计算一个 Logit。
词表规模增大,会影响:
- Embedding 参数量。
- 输出投影层参数量。
- 输出 Logits 的维度。
- Softmax 计算成本。
- 模型训练和推理资源需求。
部分模型会采用输入 Embedding 与输出投影权重共享(Weight Tying),从而减少参数量。
七、Token ID 如何转换为 Embedding?
Token ID 只是整数,模型真正进行神经网络计算时,通常需要将它转换为连续向量。
这一过程由 Embedding 层完成。
7.1 Embedding 矩阵
假设词表大小为:
隐藏维度为:
那么 Embedding 矩阵的形状为:
每一行对应一个 Token 的向量表示。
当输入 Token ID 为 1024 时,模型取出第 1024 行:
得到一个 4096 维向量。
7.2 批量输入的张量形状
假设一次输入包含:
- Batch Size:B。
- Sequence Length:T。
- Hidden Size:d。
Tokenizer 输出的 Token ID 张量形状通常为:
Embedding 之后的张量形状为:
例如:
那么:
Token ID:
[2, 128]
Embedding:
[2, 128, 4096]
这意味着模型一次处理 2 个样本,每个样本包含 128 个 Token,每个 Token 对应一个 4096 维向量。
7.3 Embedding 与位置编码
Token Embedding 主要表达 Token 的初始表示,模型还需要处理位置信息。
在传统 Transformer 中,常见方式是将 Token Embedding 与位置编码相加:
在使用 RoPE 的模型中,位置关系通常通过对注意力中的 Query 和 Key 进行旋转变换来注入,而不是简单地把位置向量加到 Token Embedding 上。
不同模型的实现方式存在差异。
八、特殊 Token:模型如何识别控制信息?
除了普通文本 Token,Tokenizer 通常还定义一些特殊 Token。
特殊 Token 用于表达文本边界、任务类型、对话结构或控制信息。
常见类型包括:
| 特殊 Token 类型 | 作用 |
|---|---|
| BOS | 表示序列或消息的开始 |
| EOS | 表示序列结束 |
| PAD | 用于填充不同长度的序列 |
| UNK | 表示无法识别或映射的未知 Token |
| SEP | 分隔不同文本片段或序列 |
| MASK | 用于掩码语言建模 |
| Role Token | 标识消息角色 |
| End-of-Turn | 表示一轮对话结束 |
| Tool Control Token | 表示工具调用或控制流程 |
不同模型不一定使用全部这些 Token,也可能使用不同的名称和 ID。
8.1 BOS 与 EOS
BOS(Beginning of Sequence)通常表示序列开始。
EOS(End of Sequence)通常表示序列结束。
例如:
[BOS] 人工智能正在发展 [EOS]
模型可以通过这些标记识别输入序列的边界。
8.2 PAD
在批量处理不同长度的文本时,需要将序列补齐到相同长度。
例如:
序列 A:
[101, 102, 103]
序列 B:
[201, 202]
补齐后:
序列 A:
[101, 102, 103]
序列 B:
[201, 202, PAD]
PAD 可以让不同长度的样本组成统一形状的张量。
实际计算时通常需要配合 Attention Mask,避免模型将填充位置当成有效文本。
8.3 MASK
MASK 常见于 Masked Language Modeling。
例如:
原始文本:
机器学习是人工智能的重要分支。
训练输入:
机器学习是 [MASK] 的重要分支。
模型需要根据上下文预测被遮盖的 Token。
BERT 是这类训练目标的典型代表。
需要注意,MASK 并不是所有自回归生成式模型都使用的常规生成标记。
8.4 对话控制 Token
聊天模型除了普通文本,还需要表示消息角色、消息边界以及工具调用等控制信息。
例如,一个简化的对话结构可能是:
<|im_start|>user
你好
<|im_end|>
<|im_start|>assistant
你好,有什么可以帮助你?
<|im_end|>
这类结构中:
- 消息开始标记用于标识一条消息。
- 角色信息用于区分 user、assistant 或 tool。
- 消息结束标记用于界定消息边界。
- 某些控制标记用于表示助手回合结束或交接给工具。
实际模型使用的格式并不统一。