一、什么是大语言模型预训练?
预训练(Pre-training)是大语言模型构建过程中的核心阶段。
它的目标是利用大规模、广泛分布的文本数据,让模型学习语言中的统计规律、语法结构、语义关系、知识关联以及一定程度的推理模式。
与传统监督学习不同,预训练通常不需要人工为每条文本标注分类标签或标准答案,而是通过文本自身构造训练目标。
例如,给定一段文本:
人工智能正在改变软件开发的方式。
模型可以学习预测下一个 Token:
人工智能正在改变软件开发的 [方式]
在这个过程中,原始文本既是模型的输入,也是训练目标的来源。
这种训练方式称为自监督学习(Self-Supervised Learning)。
1. 预训练解决什么问题?
预训练希望模型形成具有广泛迁移能力的基础表示,而不是只解决某一个具体任务。
主要学习内容包括:
| 学习维度 | 具体内容 |
|---|---|
| 语言结构 | 词法、语法、句法、语言组织规律 |
| 语义表示 | 词语含义、上下文关系、语义相似性 |
| 知识关联 | 人物、地点、事件、概念之间的关联 |
| 上下文建模 | 长距离依赖、指代关系、上下文信息 |
| 文本生成 | 根据已有上下文生成连贯文本 |
| 任务模式 | 问答、摘要、翻译、代码补全等任务所需的模式 |
需要注意:预训练并不是将所有知识像数据库记录一样写入模型,而是通过优化大量参数,使模型逐渐形成分布式的知识表示和语言建模能力。
2. 预训练与其他训练阶段的区别
现代大语言模型通常经历多个训练阶段。
| 阶段 | 核心目标 | 典型方式 |
|---|---|---|
| 预训练 | 获得通用语言建模能力 | 自监督学习 |
| 监督微调(SFT) | 学习指令理解与任务执行 | 指令-回答数据监督 |
| 偏好对齐 | 使输出符合人类偏好 | DPO、奖励模型等 |
| 强化学习 | 优化复杂任务中的行为表现 | PPO、GRPO 等方法 |
这些阶段不是完全固定的流水线。不同模型可能采用不同的数据、训练目标和优化方法,也可能跳过或组合某些阶段。
整体关系如下:
flowchart TB
A["大规模原始数据"] --> B["预训练"]
B --> C["基础语言模型"]
C --> D["监督微调 SFT"]
D --> E["指令模型"]
E --> F["偏好对齐与强化学习"]
F --> G["对齐后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
预训练决定模型的基础能力和知识覆盖范围,后续阶段则进一步塑造模型的交互方式、任务行为和输出偏好。
二、预训练数据从哪里来?
大语言模型的能力很大程度上取决于训练数据的规模、质量、覆盖范围和分布。
预训练数据通常来自多种公开、授权或内部合法获取的数据来源。
1. 常见数据来源
| 数据类型 | 典型内容 | 主要价值 |
|---|---|---|
| 网页文本 | 新闻、博客、论坛、百科 | 覆盖广泛的自然语言知识 |
| 书籍 | 小说、教材、专业著作 | 长篇文本与系统性知识 |
| 学术论文 | 研究论文、技术报告 | 专业知识与科学表达 |
| 技术文档 | API 文档、开发手册 | 编程和工程知识 |
| 代码数据 | Git 仓库、代码示例 | 编程语言与代码生成能力 |
| 问答数据 | 问题、讨论、解答 | 问题理解与回答模式 |
| 多语言语料 | 不同语言的文本 | 多语言理解与生成能力 |
不同数据类型对模型的贡献并不相同。
例如:
- 书籍有助于学习长篇结构和连贯表达。
- 代码数据有助于学习编程语言的语法和程序结构。
- 学术论文有助于学习专业术语和技术表达。
- 多语言语料有助于提高跨语言建模能力。
2. 数据规模与数据质量
数据规模很重要,但数据规模并不等于有效信息量。
假设一个训练数据集中包含:
- 大量重复网页;
- 低质量机器生成文本;
- 无意义字符;
- 垃圾广告;
- 错误的代码片段;
- 内容高度相似的文章。
这些数据即使能够增加 Token 数量,也未必能有效提升模型能力。
因此,预训练数据工程的核心目标之一是提高有效数据比例。
可以将数据价值粗略理解为:
这只是帮助理解的概念表达,并不是实际训练中可直接计算的通用公式。
3. 数据分布为什么重要?
模型最终学到的能力与训练数据分布密切相关。
例如:
- 代码占比过低,可能影响代码生成能力。
- 高质量中文语料不足,可能影响中文理解和表达。
- 专业领域语料不足,可能导致专业知识覆盖有限。
- 数据过度集中于某些内容类型,可能使模型产生分布偏差。
训练数据不仅要追求规模,还需要考虑不同领域、语言、文本长度和内容类型之间的比例。
三、预训练数据处理流程
原始数据通常不能直接进入模型训练,需要经过一系列处理。
典型的数据处理流程如下:
flowchart TB
A["原始数据采集"] --> B["格式解析与文本提取"]
B --> C["内容清洗"]
C --> D["质量过滤"]
D --> E["重复数据检测与去重"]
E --> F["敏感及不合规内容处理"]
F --> G["数据混合与采样"]
G --> H["Tokenizer 编码"]
H --> I["Token 序列整理"]
I --> J["训练数据集"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
1. 格式解析与文本提取
不同数据源可能使用不同格式:
- HTML
- Markdown
- JSON
- XML
- 纯文本
- 源代码文件
首先需要将这些内容解析为模型能够处理的文本序列。
网页数据尤其需要处理:
- HTML 标签;
- 导航栏和页脚;
- 广告区域;
- 页面模板;
- 无关脚本和样式;
- 重复的页面元素。
如果直接将网页原始内容输入模型,可能导致大量无效 Token 占用训练资源。
2. 数据清洗
数据清洗主要用于去除明显无效或质量较差的内容。
常见操作包括:
- 删除空文本;
- 删除乱码;
- 过滤异常字符比例;
- 清理重复标点;
- 去除无意义的模板文本;
- 处理格式错误的内容;
- 过滤明显的垃圾信息。
但清洗并不是越激进越好。
例如,代码中的缩进、特殊符号、注释和 Markdown 标记都可能包含有效信息。如果使用普通自然语言清洗规则处理代码数据,就可能破坏代码结构。
因此,通常需要根据数据类型制定不同的清洗策略。
3. 数据质量过滤
质量过滤比基础清洗更复杂。
常见方法包括:
规则过滤
根据文本长度、字符比例、语言、重复率和格式等规则进行筛选。
分类器过滤
使用质量分类模型判断文本是否具有训练价值。
模型辅助评分
利用模型对文本的可读性、连贯性和信息密度进行评估。
领域质量过滤
针对代码、学术论文、技术文档等数据制定专门标准。
需要注意,质量过滤模型本身也可能存在偏差。如果过滤规则过于偏向某种语言、文风或表达方式,可能会降低数据多样性。
4. 数据去重
去重是预训练数据工程中的重要环节。
重复数据会带来几个问题:
- 浪费训练计算资源;
- 使模型过度拟合重复内容;
- 造成某些观点或知识被过度强化;
- 增加训练集与评估集之间的数据泄漏风险。
去重通常分为两个层次。
| 类型 | 处理对象 | 常见方法 |
|---|---|---|
| 精确去重 | 完全相同的文本 | Hash、内容指纹 |
| 近似去重 | 高度相似的文本 | MinHash、SimHash、局部敏感哈希 |
精确去重可以使用文本哈希:
如果两段文本经过规范化后产生相同哈希值,可以认为它们是重复文本。
近似去重则更加复杂。
例如,两篇文章可能只有标题、标点或少量词语不同,但主体内容基本一致。这时可以通过 Shingling、MinHash 等方法估计文本相似度。
5. 数据混合与采样
不同来源的数据需要按照一定策略混合。
例如:
| 数据类型 | 示例权重 |
|---|---|
| 通用网页 | 45% |
| 书籍与长文本 | 15% |
| 代码 | 20% |
| 学术与技术文档 | 15% |
| 其他高质量语料 | 5% |
以上比例仅用于说明数据混合机制,不代表某个主流模型的实际训练配比。
数据混合权重会直接影响模型训练时接触不同数据类型的频率。
实际训练中还需要考虑:
- 数据质量;
- 数据规模;
- 领域覆盖;
- 语言分布;
- 重复采样;
- 训练阶段变化。
有些训练方案会在训练后期提高高质量数据的采样比例,以改善模型表现。
四、Tokenization:将文本转换为模型输入
神经网络不能直接处理原始字符串,需要先将文本转换为 Token ID。
这个过程称为 Tokenization。
假设输入文本为:
Large Language Models
Tokenizer 可能将其切分为:
["Large", " Language", " Models"]
再将每个 Token 映射为词表中的整数 ID:
[1024, 5832, 917]
这里的 Token 切分结果和 ID 都只是示意,实际结果取决于具体 Tokenizer。
1. Token ID 与 Embedding
模型拿到 Token ID 后,通过 Embedding 矩阵将其映射为连续向量。
设词表大小为 V,隐藏维度为 d,Embedding 矩阵为:
对于 Token ID i,对应的向量为:
因此,Token ID 本身只是离散索引,真正进入 Transformer 计算的是 Embedding 向量。
2. 为什么需要统一 Tokenizer?
预训练和推理阶段必须使用兼容的 Tokenizer。
如果训练时使用一种 Tokenizer,而推理时使用另一种 Tokenizer,即使两者处理的是同一段文本,也可能产生不同的 Token 切分和 ID。
这会导致输入表示与模型训练时的词表定义不一致。
Tokenizer 通常与模型权重、词表以及特殊 Token 配置一起发布和使用。
五、预训练的核心目标:Next Token Prediction
对于当前主流的 Decoder-only 大语言模型,预训练最典型的目标是预测下一个 Token。
给定 Token 序列:
模型学习:
即根据当前位置之前的上下文,预测当前位置的 Token。
1. 自回归概率分解
根据概率链式法则,整个序列的联合概率可以分解为:
其中:
这意味着模型只需要学习每个位置的条件概率分布,就能够对整个序列进行概率建模。
2. 输入与标签错位
假设原始 Token 序列为:
[A, B, C, D, E]
训练时通常将其构造成:
| 输入位置 | 模型输入 | 预测目标 |
|---|---|---|
| 1 | A | B |
| 2 | A, B | C |
| 3 | A, B, C | D |
| 4 | A, B, C, D | E |
对应的输入与标签:
input_ids = tokens[:, :-1]
labels = tokens[:, 1:]
模型输入:
[A, B, C, D]
训练标签:
[B, C, D, E]
模型在每个位置预测下一个 Token。
3. 为什么可以并行训练?
虽然模型学习的是自回归预测,但训练阶段不需要像生成阶段一样逐 Token 执行。
原因是:训练数据已经提供了完整的 Token 序列。
通过因果注意力掩码(Causal Mask),模型可以同时计算多个位置的预测结果,同时禁止每个位置访问未来 Token。
例如:
位置 1:只能看到 A
位置 2:只能看到 A、B
位置 3:只能看到 A、B、C
位置 4:只能看到 A、B、C、D
因果注意力掩码通常表现为一个下三角可见区域。
flowchart TB
A["完整 Token 序列"] --> B["构造错位输入与标签"]
B --> C["Transformer 并行计算"]
C --> D["应用 Causal Mask"]
D --> E["各位置预测下一个 Token"]
E --> F["计算预测损失"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
这里需要区分两个概念:
- 自回归约束:每个位置只能利用历史上下文预测当前 Token。
- 并行训练:已知完整训练序列后,可以同时计算多个位置的输出。
两者并不矛盾。
六、损失函数:模型如何衡量预测效果?
模型输出的是词表中每个 Token 的预测分数,称为 Logits。
设词表大小为 V,位置 t 的输出为:
通过 Softmax 转换为概率分布:
模型需要提高正确 Token 对应的预测概率。
1. 交叉熵损失
对于真实 Token x_t,单个位置的损失为:
如果模型对正确 Token 的预测概率越高,损失就越低。
例如:
| 正确 Token 的预测概率 | 交叉熵损失 |
|---|---|
| 0.9 | 0.105 |
| 0.5 | 0.693 |
| 0.1 | 2.303 |
| 0.01 | 4.605 |
可以看到,模型对正确 Token 越不确定,损失越大。
2. 整个序列的损失
对于长度为 T 的序列,平均交叉熵损失可以表示为:
实际训练时,通常还需要处理 Padding Token、特殊 Token 和不同长度样本。
因此,更一般的形式是:
其中:
- b:Batch 中的样本索引。
- t:Token 位置。
- m_{b,t}:有效 Token 掩码。
- 分母:参与损失计算的有效 Token 数量。
3. 为什么使用交叉熵?
预训练的目标是最大化训练数据在模型下的似然:
为了方便优化,通常转换为负对数似然:
这与交叉熵损失具有直接关系。
从优化角度看,模型通过降低交叉熵,使真实 Token 在对应上下文中的预测概率不断提高。
七、Transformer 如何参与预训练?
预训练并不是单独训练一个预测模块,而是训练整个模型的参数。
以 Decoder-only Transformer 为例,整体计算过程如下:
flowchart TB
A["Token ID 序列"] --> B["Token Embedding"]
B --> C["位置编码或 RoPE"]
C --> D["Transformer Block"]
D --> E["最终隐藏状态"]
E --> F["输出投影层"]
F --> G["Logits"]
G --> H["Softmax 概率分布"]
H --> I["计算 Next Token 损失"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
1. Token Embedding
将 Token ID 转换为向量表示。
如果隐藏维度为 d,序列长度为 T,则输入张量形状通常为:
其中 B 是 Batch Size。
2. Transformer Block
Transformer Block 是模型学习上下文关系的核心结构。
一个典型的 Pre-LN Transformer Block 可以抽象为:
其中:
- LN:LayerNorm。
- Attention:因果自注意力。
- FFN:前馈神经网络。
- 残差连接:帮助信息和梯度传播。
不同模型在归一化方式、激活函数、注意力结构、位置编码和 FFN 结构上可能存在差异。
3. 输出投影层
Transformer 输出隐藏状态后,需要通过输出投影层映射到词表维度。
设最终隐藏状态为:
输出权重为:
则:
得到:
其中 V 是词表大小。
每个位置都会得到一个长度为 V 的 Logits 向量,用于预测下一个 Token。
部分模型会采用输入 Embedding 与输出投影权重共享(Weight Tying),以减少参数量。
八、反向传播:模型如何更新参数?
得到损失之后,模型需要计算损失相对于参数的梯度。
设模型参数为:
训练目标为:
通过反向传播计算:
然后使用优化器更新参数。
以最基础的梯度下降为例:
其中:
- \theta_t:当前模型参数。
- \eta:学习率。
- \nabla_{\theta}L:损失函数对参数的梯度。
实际的大语言模型训练通常使用 AdamW 等优化器,并配合学习率预热、衰减策略、梯度裁剪等技术。
完整训练循环:
flowchart TB
A["准备训练 Batch"] --> B["模型前向传播"]
B --> C["计算交叉熵损失"]
C --> D["反向传播"]
D --> E["计算参数梯度"]
E --> F["梯度裁剪与处理"]
F --> G["优化器更新参数"]
G --> H["更新学习率调度器"]
H --> I{"训练是否结束"}
I -->|"否"| A
I -->|"是"| J["保存模型检查点"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#E5F0E9,stroke:#83A995,color:#315D49