返回专栏
· 16 分钟阅读

什么是 Token?分词与编码机制


一、什么是 Token?

Token 是大语言模型处理文本时使用的基本单位。

大语言模型并不是直接读取人类看到的文字,而是先通过 Tokenizer 将文本切分为一系列 Token,再将每个 Token 转换为对应的整数 ID,最后输入神经网络进行计算。

一个 Token 可能是:

  • 一个完整的英文单词。
  • 一个英文单词的一部分。
  • 一个汉字。
  • 多个汉字组成的文本片段。
  • 一个标点符号。
  • 一个数字或特殊符号。
  • 一个特殊控制标记。

例如:

Artificial intelligence is changing the world.

可能被切分为:

["Artificial", " intelligence", " is", " changing", " the", " world", "."]

中文文本:

人工智能正在改变世界。

可能被切分为:

["人工", "智能", "正在", "改变", "世界", "。"]

以上仅为示意,实际切分结果取决于模型使用的 Tokenizer 和词表。

Token 不等于汉字,也不等于单词。

它是模型词表中定义的一种离散文本单位。

二、为什么大语言模型需要 Token?

计算机可以存储文本,但神经网络不能直接按照人类语言的语义进行矩阵运算。

神经网络的核心计算建立在数值、向量和矩阵之上。

因此,需要将自然语言转换为模型能够处理的数值表示。

整个过程可以分为三个阶段:

  1. 分词:将文本切分为 Token。
  2. 编码:将 Token 映射为整数 ID。
  3. 向量化:将 Token ID 映射为连续向量。

整体流程:

flowchart TB
    A["原始文本"] --> B["Tokenizer 分词"]
    B --> C["Token 序列"]
    C --> D["Token ID 编码"]
    D --> E["Embedding 向量映射"]
    E --> F["Transformer 神经网络"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里需要区分三个概念:

概念 含义 数据形式
Token 文本切分后的基本单位 文本片段
Token ID Token 在词表中的索引 整数
Embedding Token ID 对应的向量表示 浮点数向量

例如:

原始文本:人工智能

Token:
["人工", "智能"]

Token ID:
[1024, 2056]

Embedding:
[
  [0.12, -0.31, 0.45, ...],
  [0.28,  0.16, 0.73, ...]
]

以上编号和向量均为示意数据。

Tokenization 解决文本如何切分的问题,Token ID 解决文本如何编号的问题,Embedding 则解决模型如何通过向量进行计算的问题。

三、Tokenizer 是什么?

Tokenizer(分词器)是负责文本与 Token 序列转换的组件。

它通常包含:

  • 预处理规则。
  • 分词算法。
  • 词表(Vocabulary)。
  • 编码逻辑。
  • 解码逻辑。
  • 特殊 Token 处理规则。

Tokenizer 主要承担两个方向的转换。

3.1 Encoding:文本编码

Encoding 是将原始文本转换为 Token ID 序列的过程。

例如:

输入:
I love artificial intelligence.

假设经过分词得到:

["I", " love", " artificial", " intelligence", "."]

再根据词表映射为:

[40, 1024, 2056, 3108, 13]

实际处理过程:

flowchart TB
    A["原始文本"] --> B["文本预处理"]
    B --> C["分词算法"]
    C --> D["生成 Token"]
    D --> E["查询词表"]
    E --> F["生成 Token ID 序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

3.2 Decoding:文本解码

Decoding 是将 Token ID 序列转换回文本的过程。

例如:

Token ID:
[40, 1024, 2056, 3108, 13]

通过词表查询,得到:

["I", " love", " artificial", " intelligence", "."]

再按照 Tokenizer 的解码规则合并,恢复为:

I love artificial intelligence.

需要注意,解码过程并不一定是简单的字符串拼接。

不同 Tokenizer 可能涉及空格恢复、字节解码、特殊 Token 处理等规则。

3.3 Tokenizer 与模型的关系

Tokenizer 和语言模型通常是配套使用的。

模型训练时使用特定的词表和 Token ID 编码体系,推理时也需要使用兼容的 Tokenizer。

如果使用了不匹配的 Tokenizer,即使模型权重正确,也可能导致输入编码和输出解码出现错误。

例如:

  • Token ID 对应的词表含义不一致。
  • 特殊 Token 的 ID 不一致。
  • 对话控制标记处理不一致。
  • 文本解码结果出现异常。

因此,Tokenizer 不是一个可以随意替换的外围工具,而是模型输入输出体系的重要组成部分。

四、Token 是如何切分出来的?

Tokenization 的核心问题是:

一段连续文本,应该按照什么规则切分成 Token?

最简单的方式是按照字符、单词或空格切分,但这些方法很难满足多语言、大规模词汇和未知词处理的需求。

目前主流大语言模型通常使用子词级别(Subword)的分词方法。

4.1 字符级分词

字符级分词将文本拆分为单个字符。

例如:

人工智能正在发展

切分结果:

["人", "工", "智", "能", "正", "在", "发", "展"]

优点:

  • 词表规模较小。
  • 不容易出现未知字符。
  • 可以组合出任意字符序列。

缺点:

  • 序列长度较长。
  • 一个完整词语可能被拆成多个字符。
  • 模型需要通过更多位置学习词语之间的关系。

4.2 词级分词

词级分词按照完整词语切分。

例如:

人工智能正在发展

切分结果:

["人工智能", "正在", "发展"]

优点:

  • 保留较完整的词语单位。
  • 序列长度相对较短。
  • 对常见词语比较直观。

缺点:

  • 词表规模可能非常大。
  • 新词和生僻词难以处理。
  • 未登录词需要额外处理。
  • 多语言和复杂形态语言的词汇组合问题较多。

4.3 子词级分词

子词级分词将文本拆分为完整词语和词语片段的组合。

例如:

unbelievable

可能被拆分为:

["un", "believ", "able"]

这样既可以保留常见词片段,也能够通过组合处理未直接出现在词表中的词语。

子词分词在词表规模和序列长度之间取得了较好的平衡,因此被广泛用于现代大语言模型。

4.4 三种分词方式对比

分词方式 切分单位 词表规模 序列长度 未知词处理
字符级 单个字符 较小 较长 通常较容易
词级 完整词语 较大 较短 相对困难
子词级 词语或词语片段 中等 中等 通常较灵活

现代 Tokenizer 并不一定严格按照语言学意义上的词语边界切分,而是根据训练得到的词表和算法规则确定 Token。

五、主流 Tokenizer 算法

常见的子词分词算法包括:

  • BPE(Byte Pair Encoding)。
  • WordPiece。
  • Unigram Language Model。
  • SentencePiece。

它们的目标都是构建一个有限规模的词表,同时尽可能高效地表示各种输入文本。

5.1 BPE:Byte Pair Encoding

BPE 是一种基于频率统计和迭代合并的子词构建算法。

它最初源于数据压缩领域,后来被广泛应用于自然语言处理。

其基本思想是:

从较小的基础符号开始,不断合并语料中最常见的相邻符号,逐步构建子词词表。

BPE 的基本过程

假设训练语料中有以下单词:

low
lower
lowest
newer

初始时,可以将单词拆分为字符:

l o w
l o w e r
l o w e s t
n e w e r

然后统计相邻符号组合的频率。

例如:

l + o
o + w
w + e
e + r

如果 l + o 出现频率最高,就将它们合并为一个新的符号:

lo

之后继续统计和合并。

经过多轮迭代,可能逐步形成:

lo
low
er
est

最终得到一个包含不同长度子词片段的词表。

BPE 的处理流程

flowchart TB
    A["准备训练语料"] --> B["拆分为基础符号"]
    B --> C["统计相邻符号频率"]
    C --> D["选择最高频组合"]
    D --> E["合并相邻符号"]
    E --> F{"是否达到词表规模"}
    F -->|"否"| C
    F -->|"是"| G["得到 BPE 词表"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要注意,以上是便于理解的字符级 BPE 示意。

实际模型可能使用字节级 BPE(Byte-level BPE),先将文本转换为字节表示,再执行子词合并。这样能够更灵活地处理不同语言、特殊字符和未知字符。

BPE 的优点

  • 词表规模相对可控。
  • 高频词语可以形成完整 Token。
  • 低频词语可以拆分为子词。
  • 能够处理大量未见过的词语组合。
  • 适合多语言和代码等文本场景。

BPE 的局限

  • 高频组合会影响词表构建结果。
  • 不一定符合自然语言的语义边界。
  • 不同语料可能产生不同的词表。
  • 对不同语言的 Token 效率可能存在差异。

5.2 WordPiece

WordPiece 也是一种子词分词算法,常见于 BERT 系列模型。

它与 BPE 的核心区别在于合并策略。

BPE 通常按照相邻符号的出现频率选择合并对象,而 WordPiece 会根据候选组合对语言模型目标或词表得分的改善程度进行选择。

简化理解:

  • BPE:更关注相邻符号组合的频率。
  • WordPiece:更关注合并后对模型语言建模效果的贡献。

WordPiece 常使用特殊前缀标记非词首子词。

例如:

playing

可能表示为:

["play", "##ing"]

其中 ##ing 表示该片段不是一个新词的开头。

实际切分取决于具体词表。

5.3 Unigram Language Model

Unigram 是另一种子词建模方法。

与 BPE 从基础符号不断合并不同,Unigram 通常从一个较大的候选子词词表开始,通过概率模型评估不同子词的价值,再逐步删除贡献较小的候选项。

其基本思想是:

  1. 构建初始候选词表。
  2. 为候选子词估计概率。
  3. 计算删除某些子词对整体语料概率的影响。
  4. 删除影响较小的子词。
  5. 重复迭代,直到达到目标词表规模。

它通常通过概率模型处理同一文本可能存在的多种切分方式。

5.4 SentencePiece

SentencePiece 是一种语言无关的子词分词工具和框架,可以支持 BPE 和 Unigram 等算法。

它的重要特点是:

  • 直接处理原始文本。
  • 不强制依赖空格作为词边界。
  • 支持多语言文本。
  • 可以统一处理不同字符体系。
  • 支持子词训练和编码。

SentencePiece 常用于多语言模型及开源大语言模型。

需要区分:

BPE、WordPiece、Unigram 是分词算法或建模方法;SentencePiece 是实现这些分词方法的工具框架。

它们不是完全处于同一分类层级的概念。

5.5 主流算法对比

算法 核心机制 词表构建方式 代表性应用
BPE 高频相邻符号合并 逐步合并 GPT 系列的部分 Tokenizer
WordPiece 根据组合得分选择子词 逐步扩展 BERT
Unigram 根据概率模型筛选子词 逐步裁剪 SentencePiece Unigram
SentencePiece 统一文本处理与子词建模 支持 BPE、Unigram 多语言模型等

需要注意,模型系列的 Tokenizer 可能随版本变化,不能仅凭模型名称判断其具体算法和配置。

六、词表 Vocabulary 与 Token ID

Tokenizer 将文本切分为 Token 后,还需要为每个 Token 分配一个唯一的整数编号。

这个映射关系由词表(Vocabulary)维护。

6.1 什么是词表?

词表是 Token 与 Token ID 之间的映射集合。

例如:

Token Token ID
the 1
a 2
computer 3
artificial 4
intelligence 5
. 6

实际模型词表通常包含数万甚至更多 Token。

词表大小通常记为:

V=|Vocabulary|

其中 V 表示词表中的 Token 数量。

6.2 Token ID 是什么?

Token ID 是 Token 在词表中的整数索引。

例如:

文本:
the computer

经过 Tokenizer 后:

Token:
["the", " computer"]

映射为:

Token ID:
[1, 3]

需要注意:

Token ID 只是索引,不表示语义大小。

例如:

ID(\text{apple})=100
ID(\text{banana})=200

不能因此认为 banana 的语义比 apple 大,也不能认为它们的语义距离是 100。

Token ID 的数值通常只是词表构建过程中分配的编号。

6.3 词表大小与模型输出层

词表大小不仅影响 Tokenizer,也直接影响模型的输入和输出结构。

假设:

  • 词表大小为 V。
  • 模型隐藏维度为 d。

Embedding 矩阵通常可以表示为:

E\in\mathbb{R}^{V\times d}

对于自回归语言模型,输出投影层通常需要将隐藏状态映射到词表维度:

W_{vocab}\in\mathbb{R}^{d\times V}

因此,模型可以为词表中的每一个 Token 计算一个 Logit。

词表规模增大,会影响:

  • Embedding 参数量。
  • 输出投影层参数量。
  • 输出 Logits 的维度。
  • Softmax 计算成本。
  • 模型训练和推理资源需求。

部分模型会采用输入 Embedding 与输出投影权重共享(Weight Tying),从而减少参数量。

七、Token ID 如何转换为 Embedding?

Token ID 只是整数,模型真正进行神经网络计算时,通常需要将它转换为连续向量。

这一过程由 Embedding 层完成。

7.1 Embedding 矩阵

假设词表大小为:

V=50000

隐藏维度为:

d=4096

那么 Embedding 矩阵的形状为:

E\in\mathbb{R}^{50000\times4096}

每一行对应一个 Token 的向量表示。

当输入 Token ID 为 1024 时,模型取出第 1024 行:

e=E[1024]

得到一个 4096 维向量。

7.2 批量输入的张量形状

假设一次输入包含:

  • Batch Size:B。
  • Sequence Length:T。
  • Hidden Size:d。

Tokenizer 输出的 Token ID 张量形状通常为:

[B,T]

Embedding 之后的张量形状为:

[B,T,d]

例如:

B=2,\quad T=128,\quad d=4096

那么:

Token ID:
[2, 128]

Embedding:
[2, 128, 4096]

这意味着模型一次处理 2 个样本,每个样本包含 128 个 Token,每个 Token 对应一个 4096 维向量。

7.3 Embedding 与位置编码

Token Embedding 主要表达 Token 的初始表示,模型还需要处理位置信息。

在传统 Transformer 中,常见方式是将 Token Embedding 与位置编码相加:

X=E_{token}+E_{position}

在使用 RoPE 的模型中,位置关系通常通过对注意力中的 Query 和 Key 进行旋转变换来注入,而不是简单地把位置向量加到 Token Embedding 上。

不同模型的实现方式存在差异。

八、特殊 Token:模型如何识别控制信息?

除了普通文本 Token,Tokenizer 通常还定义一些特殊 Token。

特殊 Token 用于表达文本边界、任务类型、对话结构或控制信息。

常见类型包括:

特殊 Token 类型 作用
BOS 表示序列或消息的开始
EOS 表示序列结束
PAD 用于填充不同长度的序列
UNK 表示无法识别或映射的未知 Token
SEP 分隔不同文本片段或序列
MASK 用于掩码语言建模
Role Token 标识消息角色
End-of-Turn 表示一轮对话结束
Tool Control Token 表示工具调用或控制流程

不同模型不一定使用全部这些 Token,也可能使用不同的名称和 ID。

8.1 BOS 与 EOS

BOS(Beginning of Sequence)通常表示序列开始。

EOS(End of Sequence)通常表示序列结束。

例如:

[BOS] 人工智能正在发展 [EOS]

模型可以通过这些标记识别输入序列的边界。

8.2 PAD

在批量处理不同长度的文本时,需要将序列补齐到相同长度。

例如:

序列 A:
[101, 102, 103]

序列 B:
[201, 202]

补齐后:

序列 A:
[101, 102, 103]

序列 B:
[201, 202, PAD]

PAD 可以让不同长度的样本组成统一形状的张量。

实际计算时通常需要配合 Attention Mask,避免模型将填充位置当成有效文本。

8.3 MASK

MASK 常见于 Masked Language Modeling。

例如:

原始文本:
机器学习是人工智能的重要分支。

训练输入:
机器学习是 [MASK] 的重要分支。

模型需要根据上下文预测被遮盖的 Token。

BERT 是这类训练目标的典型代表。

需要注意,MASK 并不是所有自回归生成式模型都使用的常规生成标记。

8.4 对话控制 Token

聊天模型除了普通文本,还需要表示消息角色、消息边界以及工具调用等控制信息。

例如,一个简化的对话结构可能是:

<|im_start|>user
你好
<|im_end|>
<|im_start|>assistant
你好,有什么可以帮助你?
<|im_end|>

这类结构中:

  • 消息开始标记用于标识一条消息。
  • 角色信息用于区分 user、assistant 或 tool。
  • 消息结束标记用于界定消息边界。
  • 某些控制标记用于表示助手回合结束或交接给工具。

实际模型使用的格式并不统一。