返回专栏
· 16 分钟阅读

大语言模型的预训练过程:从海量文本到通用语言能力


一、什么是大语言模型预训练?

预训练(Pre-training)是大语言模型构建过程中的核心阶段。

它的目标是利用大规模、广泛分布的文本数据,让模型学习语言中的统计规律、语法结构、语义关系、知识关联以及一定程度的推理模式。

与传统监督学习不同,预训练通常不需要人工为每条文本标注分类标签或标准答案,而是通过文本自身构造训练目标。

例如,给定一段文本:

人工智能正在改变软件开发的方式。

模型可以学习预测下一个 Token:

人工智能正在改变软件开发的 [方式]

在这个过程中,原始文本既是模型的输入,也是训练目标的来源。

这种训练方式称为自监督学习(Self-Supervised Learning)。

1. 预训练解决什么问题?

预训练希望模型形成具有广泛迁移能力的基础表示,而不是只解决某一个具体任务。

主要学习内容包括:

学习维度 具体内容
语言结构 词法、语法、句法、语言组织规律
语义表示 词语含义、上下文关系、语义相似性
知识关联 人物、地点、事件、概念之间的关联
上下文建模 长距离依赖、指代关系、上下文信息
文本生成 根据已有上下文生成连贯文本
任务模式 问答、摘要、翻译、代码补全等任务所需的模式

需要注意:预训练并不是将所有知识像数据库记录一样写入模型,而是通过优化大量参数,使模型逐渐形成分布式的知识表示和语言建模能力。

2. 预训练与其他训练阶段的区别

现代大语言模型通常经历多个训练阶段。

阶段 核心目标 典型方式
预训练 获得通用语言建模能力 自监督学习
监督微调(SFT) 学习指令理解与任务执行 指令-回答数据监督
偏好对齐 使输出符合人类偏好 DPO、奖励模型等
强化学习 优化复杂任务中的行为表现 PPO、GRPO 等方法

这些阶段不是完全固定的流水线。不同模型可能采用不同的数据、训练目标和优化方法,也可能跳过或组合某些阶段。

整体关系如下:

flowchart TB
    A["大规模原始数据"] --> B["预训练"]
    B --> C["基础语言模型"]
    C --> D["监督微调 SFT"]
    D --> E["指令模型"]
    E --> F["偏好对齐与强化学习"]
    F --> G["对齐后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

预训练决定模型的基础能力和知识覆盖范围,后续阶段则进一步塑造模型的交互方式、任务行为和输出偏好。


二、预训练数据从哪里来?

大语言模型的能力很大程度上取决于训练数据的规模、质量、覆盖范围和分布。

预训练数据通常来自多种公开、授权或内部合法获取的数据来源。

1. 常见数据来源

数据类型 典型内容 主要价值
网页文本 新闻、博客、论坛、百科 覆盖广泛的自然语言知识
书籍 小说、教材、专业著作 长篇文本与系统性知识
学术论文 研究论文、技术报告 专业知识与科学表达
技术文档 API 文档、开发手册 编程和工程知识
代码数据 Git 仓库、代码示例 编程语言与代码生成能力
问答数据 问题、讨论、解答 问题理解与回答模式
多语言语料 不同语言的文本 多语言理解与生成能力

不同数据类型对模型的贡献并不相同。

例如:

  • 书籍有助于学习长篇结构和连贯表达。
  • 代码数据有助于学习编程语言的语法和程序结构。
  • 学术论文有助于学习专业术语和技术表达。
  • 多语言语料有助于提高跨语言建模能力。

2. 数据规模与数据质量

数据规模很重要,但数据规模并不等于有效信息量。

假设一个训练数据集中包含:

  • 大量重复网页;
  • 低质量机器生成文本;
  • 无意义字符;
  • 垃圾广告;
  • 错误的代码片段;
  • 内容高度相似的文章。

这些数据即使能够增加 Token 数量,也未必能有效提升模型能力。

因此,预训练数据工程的核心目标之一是提高有效数据比例。

可以将数据价值粗略理解为:

\text{有效训练价值} \approx \text{数据规模} \times \text{数据质量} \times \text{数据多样性}

这只是帮助理解的概念表达,并不是实际训练中可直接计算的通用公式。

3. 数据分布为什么重要?

模型最终学到的能力与训练数据分布密切相关。

例如:

  • 代码占比过低,可能影响代码生成能力。
  • 高质量中文语料不足,可能影响中文理解和表达。
  • 专业领域语料不足,可能导致专业知识覆盖有限。
  • 数据过度集中于某些内容类型,可能使模型产生分布偏差。

训练数据不仅要追求规模,还需要考虑不同领域、语言、文本长度和内容类型之间的比例。


三、预训练数据处理流程

原始数据通常不能直接进入模型训练,需要经过一系列处理。

典型的数据处理流程如下:

flowchart TB
    A["原始数据采集"] --> B["格式解析与文本提取"]
    B --> C["内容清洗"]
    C --> D["质量过滤"]
    D --> E["重复数据检测与去重"]
    E --> F["敏感及不合规内容处理"]
    F --> G["数据混合与采样"]
    G --> H["Tokenizer 编码"]
    H --> I["Token 序列整理"]
    I --> J["训练数据集"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

1. 格式解析与文本提取

不同数据源可能使用不同格式:

  • HTML
  • PDF
  • Markdown
  • JSON
  • XML
  • 纯文本
  • 源代码文件

首先需要将这些内容解析为模型能够处理的文本序列。

网页数据尤其需要处理:

  • HTML 标签;
  • 导航栏和页脚;
  • 广告区域;
  • 页面模板;
  • 无关脚本和样式;
  • 重复的页面元素。

如果直接将网页原始内容输入模型,可能导致大量无效 Token 占用训练资源。

2. 数据清洗

数据清洗主要用于去除明显无效或质量较差的内容。

常见操作包括:

  • 删除空文本;
  • 删除乱码;
  • 过滤异常字符比例;
  • 清理重复标点;
  • 去除无意义的模板文本;
  • 处理格式错误的内容;
  • 过滤明显的垃圾信息。

但清洗并不是越激进越好。

例如,代码中的缩进、特殊符号、注释和 Markdown 标记都可能包含有效信息。如果使用普通自然语言清洗规则处理代码数据,就可能破坏代码结构。

因此,通常需要根据数据类型制定不同的清洗策略。

3. 数据质量过滤

质量过滤比基础清洗更复杂。

常见方法包括:

规则过滤

根据文本长度、字符比例、语言、重复率和格式等规则进行筛选。

分类器过滤

使用质量分类模型判断文本是否具有训练价值。

模型辅助评分

利用模型对文本的可读性、连贯性和信息密度进行评估。

领域质量过滤

针对代码、学术论文、技术文档等数据制定专门标准。

需要注意,质量过滤模型本身也可能存在偏差。如果过滤规则过于偏向某种语言、文风或表达方式,可能会降低数据多样性。

4. 数据去重

去重是预训练数据工程中的重要环节。

重复数据会带来几个问题:

  • 浪费训练计算资源;
  • 使模型过度拟合重复内容;
  • 造成某些观点或知识被过度强化;
  • 增加训练集与评估集之间的数据泄漏风险。

去重通常分为两个层次。

类型 处理对象 常见方法
精确去重 完全相同的文本 Hash、内容指纹
近似去重 高度相似的文本 MinHash、SimHash、局部敏感哈希

精确去重可以使用文本哈希:

h = Hash(\text{text})

如果两段文本经过规范化后产生相同哈希值,可以认为它们是重复文本。

近似去重则更加复杂。

例如,两篇文章可能只有标题、标点或少量词语不同,但主体内容基本一致。这时可以通过 Shingling、MinHash 等方法估计文本相似度。

5. 数据混合与采样

不同来源的数据需要按照一定策略混合。

例如:

数据类型 示例权重
通用网页 45%
书籍与长文本 15%
代码 20%
学术与技术文档 15%
其他高质量语料 5%

以上比例仅用于说明数据混合机制,不代表某个主流模型的实际训练配比。

数据混合权重会直接影响模型训练时接触不同数据类型的频率。

实际训练中还需要考虑:

  • 数据质量;
  • 数据规模;
  • 领域覆盖;
  • 语言分布;
  • 重复采样;
  • 训练阶段变化。

有些训练方案会在训练后期提高高质量数据的采样比例,以改善模型表现。


四、Tokenization:将文本转换为模型输入

神经网络不能直接处理原始字符串,需要先将文本转换为 Token ID。

这个过程称为 Tokenization。

假设输入文本为:

Large Language Models

Tokenizer 可能将其切分为:

["Large", " Language", " Models"]

再将每个 Token 映射为词表中的整数 ID:

[1024, 5832, 917]

这里的 Token 切分结果和 ID 都只是示意,实际结果取决于具体 Tokenizer。

1. Token ID 与 Embedding

模型拿到 Token ID 后,通过 Embedding 矩阵将其映射为连续向量。

设词表大小为 V,隐藏维度为 d,Embedding 矩阵为:

E \in \mathbb{R}^{V \times d}

对于 Token ID i,对应的向量为:

e_i = E[i]

因此,Token ID 本身只是离散索引,真正进入 Transformer 计算的是 Embedding 向量。

2. 为什么需要统一 Tokenizer?

预训练和推理阶段必须使用兼容的 Tokenizer。

如果训练时使用一种 Tokenizer,而推理时使用另一种 Tokenizer,即使两者处理的是同一段文本,也可能产生不同的 Token 切分和 ID。

这会导致输入表示与模型训练时的词表定义不一致。

Tokenizer 通常与模型权重、词表以及特殊 Token 配置一起发布和使用。


五、预训练的核心目标:Next Token Prediction

对于当前主流的 Decoder-only 大语言模型,预训练最典型的目标是预测下一个 Token。

给定 Token 序列:

X=(x_1,x_2,\ldots,x_T)

模型学习:

P(x_t\mid x_1,x_2,\ldots,x_{t-1})

即根据当前位置之前的上下文,预测当前位置的 Token。

1. 自回归概率分解

根据概率链式法则,整个序列的联合概率可以分解为:

P(x_1,x_2,\ldots,x_T) = \prod_{t=1}^{T} P(x_t\mid x_{<t})

其中:

x_{<t}=(x_1,x_2,\ldots,x_{t-1})

这意味着模型只需要学习每个位置的条件概率分布,就能够对整个序列进行概率建模。

2. 输入与标签错位

假设原始 Token 序列为:

[A, B, C, D, E]

训练时通常将其构造成:

输入位置 模型输入 预测目标
1 A B
2 A, B C
3 A, B, C D
4 A, B, C, D E

对应的输入与标签:

input_ids = tokens[:, :-1]
labels = tokens[:, 1:]

模型输入:

[A, B, C, D]

训练标签:

[B, C, D, E]

模型在每个位置预测下一个 Token。

3. 为什么可以并行训练?

虽然模型学习的是自回归预测,但训练阶段不需要像生成阶段一样逐 Token 执行。

原因是:训练数据已经提供了完整的 Token 序列。

通过因果注意力掩码(Causal Mask),模型可以同时计算多个位置的预测结果,同时禁止每个位置访问未来 Token。

例如:

位置 1:只能看到 A
位置 2:只能看到 A、B
位置 3:只能看到 A、B、C
位置 4:只能看到 A、B、C、D

因果注意力掩码通常表现为一个下三角可见区域。

flowchart TB
    A["完整 Token 序列"] --> B["构造错位输入与标签"]
    B --> C["Transformer 并行计算"]
    C --> D["应用 Causal Mask"]
    D --> E["各位置预测下一个 Token"]
    E --> F["计算预测损失"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

这里需要区分两个概念:

  • 自回归约束:每个位置只能利用历史上下文预测当前 Token。
  • 并行训练:已知完整训练序列后,可以同时计算多个位置的输出。

两者并不矛盾。


六、损失函数:模型如何衡量预测效果?

模型输出的是词表中每个 Token 的预测分数,称为 Logits。

设词表大小为 V,位置 t 的输出为:

z_t \in \mathbb{R}^{V}

通过 Softmax 转换为概率分布:

P(x_t=i\mid x_{<t}) = \frac{e^{z_{t,i}}} {\sum_{j=1}^{V}e^{z_{t,j}}}

模型需要提高正确 Token 对应的预测概率。

1. 交叉熵损失

对于真实 Token x_t,单个位置的损失为:

L_t=-\log P(x_t\mid x_{<t})

如果模型对正确 Token 的预测概率越高,损失就越低。

例如:

正确 Token 的预测概率 交叉熵损失
0.9 0.105
0.5 0.693
0.1 2.303
0.01 4.605

可以看到,模型对正确 Token 越不确定,损失越大。

2. 整个序列的损失

对于长度为 T 的序列,平均交叉熵损失可以表示为:

L=-\frac{1}{T}\sum_{t=1}^{T} \log P(x_t\mid x_{<t})

实际训练时,通常还需要处理 Padding Token、特殊 Token 和不同长度样本。

因此,更一般的形式是:

L= -\frac{ \sum_{b,t}m_{b,t} \log P(x_{b,t}\mid x_{b,<t}) }{ \sum_{b,t}m_{b,t} }

其中:

  • b:Batch 中的样本索引。
  • t:Token 位置。
  • m_{b,t}:有效 Token 掩码。
  • 分母:参与损失计算的有效 Token 数量。

3. 为什么使用交叉熵?

预训练的目标是最大化训练数据在模型下的似然:

\theta^* = \arg\max_{\theta} \prod_{t=1}^{T} P_{\theta}(x_t\mid x_{<t})

为了方便优化,通常转换为负对数似然:

\theta^* = \arg\min_{\theta} -\sum_{t=1}^{T} \log P_{\theta}(x_t\mid x_{<t})

这与交叉熵损失具有直接关系。

从优化角度看,模型通过降低交叉熵,使真实 Token 在对应上下文中的预测概率不断提高。


七、Transformer 如何参与预训练?

预训练并不是单独训练一个预测模块,而是训练整个模型的参数。

以 Decoder-only Transformer 为例,整体计算过程如下:

flowchart TB
    A["Token ID 序列"] --> B["Token Embedding"]
    B --> C["位置编码或 RoPE"]
    C --> D["Transformer Block"]
    D --> E["最终隐藏状态"]
    E --> F["输出投影层"]
    F --> G["Logits"]
    G --> H["Softmax 概率分布"]
    H --> I["计算 Next Token 损失"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

1. Token Embedding

将 Token ID 转换为向量表示。

X=Embedding(TokenIDs)

如果隐藏维度为 d,序列长度为 T,则输入张量形状通常为:

X\in\mathbb{R}^{B\times T\times d}

其中 B 是 Batch Size。

2. Transformer Block

Transformer Block 是模型学习上下文关系的核心结构。

一个典型的 Pre-LN Transformer Block 可以抽象为:

H'=H+Attention(LN(H))
H_{out}=H'+FFN(LN(H'))

其中:

  • LN:LayerNorm。
  • Attention:因果自注意力。
  • FFN:前馈神经网络。
  • 残差连接:帮助信息和梯度传播。

不同模型在归一化方式、激活函数、注意力结构、位置编码和 FFN 结构上可能存在差异。

3. 输出投影层

Transformer 输出隐藏状态后,需要通过输出投影层映射到词表维度。

设最终隐藏状态为:

H\in\mathbb{R}^{B\times T\times d}

输出权重为:

W_{out}\in\mathbb{R}^{d\times V}

则:

Z=HW_{out}

得到:

Z\in\mathbb{R}^{B\times T\times V}

其中 V 是词表大小。

每个位置都会得到一个长度为 V 的 Logits 向量,用于预测下一个 Token。

部分模型会采用输入 Embedding 与输出投影权重共享(Weight Tying),以减少参数量。


八、反向传播:模型如何更新参数?

得到损失之后,模型需要计算损失相对于参数的梯度。

设模型参数为:

\theta=\{W_1,W_2,\ldots,W_n\}

训练目标为:

L(\theta)

通过反向传播计算:

\nabla_{\theta}L(\theta)

然后使用优化器更新参数。

以最基础的梯度下降为例:

\theta_{t+1} = \theta_t-\eta\nabla_{\theta}L(\theta_t)

其中:

  • \theta_t:当前模型参数。
  • \eta:学习率。
  • \nabla_{\theta}L:损失函数对参数的梯度。

实际的大语言模型训练通常使用 AdamW 等优化器,并配合学习率预热、衰减策略、梯度裁剪等技术。

完整训练循环:

flowchart TB
    A["准备训练 Batch"] --> B["模型前向传播"]
    B --> C["计算交叉熵损失"]
    C --> D["反向传播"]
    D --> E["计算参数梯度"]
    E --> F["梯度裁剪与处理"]
    F --> G["优化器更新参数"]
    G --> H["更新学习率调度器"]
    H --> I{"训练是否结束"}
    I -->|"否"| A
    I -->|"是"| J["保存模型检查点"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49