一、什么是大语言模型?
大语言模型(Large Language Model,LLM)是一类基于深度学习构建的语言模型,通过在大规模文本及其他类型的数据上进行训练,学习语言结构、语义关系、知识关联和上下文模式,从而完成文本理解与生成任务。
与传统语言模型相比,大语言模型通常具有以下特点:
- 参数规模大:模型包含数十亿、数百亿甚至数千亿级别的可训练参数。
- 训练数据规模大:使用大规模文本、代码及多模态数据进行训练。
- 上下文建模能力强:能够结合较长的上下文理解当前输入。
- 任务适应能力强:可以通过提示词、微调等方式适应不同任务。
- 生成能力强:能够生成文本、代码、摘要、解释和其他结构化内容。
- 具备一定的泛化能力:能够将训练中学习到的模式迁移到未直接见过的任务或场景。
需要注意,大语言模型并不是一个简单的知识数据库,也不是按照固定规则运行的问答系统。
它本质上是一个通过训练学习参数化函数的神经网络。模型将输入转换为内部表示,再根据上下文计算下一个 Token 的概率分布,并逐步生成输出。
二、语言模型的基本原理
理解大语言模型,首先需要理解什么是语言模型。
语言模型(Language Model,LM)的核心任务是:
根据已有的上下文,预测下一个词或 Token 出现的概率。
例如,输入:
今天天气非常
模型需要判断下一个 Token 可能是什么:
| 候选 Token | 示例概率 |
|---|---|
| 好 | 0.55 |
| 不错 | 0.20 |
| 糟糕 | 0.10 |
| 寒冷 | 0.08 |
| 其他 | 0.07 |
以上数字仅用于说明概率分布,并非真实模型输出。
模型并不是直接从数据库中查找答案,而是根据已经学习到的参数和当前上下文,计算不同候选 Token 的概率。
2.1 自回归语言建模
目前许多主流生成式大语言模型采用自回归(Autoregressive)语言建模方式。
自回归模型按照序列顺序逐步预测后续 Token。
假设输入序列为:
根据概率链式法则,整个序列的联合概率可以分解为:
也可以简写为:
其中:
- x_t:当前位置的 Token。
- x_{<t}:当前位置之前的所有 Token。
- P(x_t|x_{<t}):给定历史上下文时,当前位置 Token 的条件概率。
这种方式使模型能够根据已有内容逐步生成完整序列。
2.2 从预测下一个 Token 到生成完整文本
例如,模型需要生成:
人工智能正在改变软件开发方式。
生成过程可以抽象为:
flowchart TB
A["输入上下文:人工智能正在"] --> B["预测下一个 Token"]
B --> C["选择 Token:改变"]
C --> D["将新 Token 加入上下文"]
D --> E["再次预测下一个 Token"]
E --> F["选择 Token:软件"]
F --> G["继续生成后续 Token"]
G --> H["得到完整文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意:
- 自回归生成通常是逐 Token 进行的。
- 每次生成都会将新 Token 纳入后续上下文。
- 模型生成的是概率分布,而不是直接确定唯一答案。
- 具体选择哪个 Token,取决于解码策略和采样参数。
预测下一个 Token 是训练目标,但为了完成这个目标,模型需要学习语言结构、语义关联、上下文依赖以及大量知识模式。
三、Token:大语言模型处理文本的基本单位
大语言模型并不直接处理人类看到的文字,而是先将文本转换为 Token。
Token 是模型处理文本序列的基本单位。
一个 Token 可能对应:
- 一个完整汉字。
- 一个英文单词。
- 一个英文单词的一部分。
- 一个标点符号。
- 一个数字或特殊符号。
- 某些由多个字符组成的文本片段。
例如:
Hello, world!
经过 Tokenizer 后,可能被拆分为:
["Hello", ",", " world", "!"]
具体拆分结果取决于模型使用的分词器。
3.1 Tokenizer 的作用
Tokenizer(分词器)负责在文本和 Token 序列之间进行转换。
主要包含两个过程:
- Encoding:将文本转换为 Token ID。
- Decoding:将 Token ID 转换回文本。
处理过程:
flowchart TB
A["原始文本"] --> B["Tokenizer 编码"]
B --> C["Token 序列"]
C --> D["Token ID 序列"]
D --> E["Embedding 向量映射"]
E --> F["输入 Transformer"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.2 常见分词算法
| 算法 | 核心思想 | 特点 |
|---|---|---|
| BPE | 反复合并高频相邻符号 | 常见于 GPT 系列分词方案 |
| WordPiece | 根据词片段概率或得分构建词表 | 常见于 BERT 系列 |
| Unigram | 从较大的候选词表中筛选子词 | 可用于 SentencePiece |
| SentencePiece | 直接对原始文本进行子词建模 | 支持多语言和不同文本形式 |
Tokenizer 的设计会影响:
- 模型词表大小。
- 输入序列长度。
- 训练和推理成本。
- 不同语言的编码效率。
- 模型对特殊符号和代码的处理能力。
3.3 Token ID 与 Embedding
Token ID 是 Token 在词表中的整数索引。
例如:
| Token | Token ID |
|---|---|
| 人工智能 | 1024 |
| 软件 | 2056 |
| 开发 | 3108 |
以上编号仅为示例。
模型不能直接通过整数编号理解 Token 的语义,因此需要将 Token ID 映射为连续向量。
这个过程称为 Embedding(词嵌入)。
假设模型的隐藏维度为 d,那么每个 Token 会被映射为一个 d 维向量。
例如:
经过 Embedding 后:
Embedding 将离散符号转换为神经网络能够处理的连续数值表示。
四、大语言模型的核心架构:Transformer
当前主流大语言模型大多建立在 Transformer 架构之上。
Transformer 最早由 Google 研究团队在 2017 年发表的论文《Attention Is All You Need》中提出。
它的重要创新是使用 Attention 机制建立序列内部不同位置之间的关联,而不再依赖传统循环神经网络逐步传递隐藏状态。
4.1 Transformer 的整体结构
典型 Transformer 主要由以下模块构成:
- Embedding:将 Token ID 映射为向量。
- Positional Encoding:提供位置信息。
- Multi-Head Attention:建立不同 Token 之间的关联。
- Feed Forward Network:进行非线性特征变换。
- Residual Connection:残差连接,改善深层网络训练。
- Layer Normalization:归一化网络内部表示。
在自回归生成式大语言模型中,通常使用 Decoder-only Transformer。
其整体结构可以抽象为:
flowchart TB
A["输入 Token ID"] --> B["Token Embedding"]
B --> C["位置编码或位置表示"]
C --> D["Transformer Block"]
D --> E["Masked Self-Attention"]
E --> F["Feed Forward Network"]
F --> G["残差连接与归一化"]
G --> H{"是否还有 Transformer 层"}
H -->|"是"| D
H -->|"否"| I["输出隐藏状态"]
I --> J["LM Head 输出 Logits"]
J --> K["Softmax 概率分布"]
K --> L["生成下一个 Token"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要特别注意:不同 Transformer 实现的归一化位置、位置编码方式、注意力结构和前馈网络设计可能不同。上图表达的是典型 Decoder-only 模型的概念结构,并不是所有模型的严格实现细节。
4.2 Attention:注意力机制
Attention 是 Transformer 最重要的核心机制之一。
它的作用是:
根据当前 Token 与其他 Token 的关联程度,对上下文信息进行加权整合。
例如:
小明把书放在桌子上,因为它很重。
模型需要结合上下文理解“它”可能指代什么。
Attention 可以帮助模型建立不同 Token 之间的关联。
标准 Scaled Dot-Product Attention 公式为:
其中:
- Q:Query,查询矩阵。
- K:Key,键矩阵。
- V:Value,值矩阵。
- d_k:Key 向量的维度。
- QK^T:计算不同位置之间的相似度。
- \sqrt{d_k}:缩放因子,用于控制点积数值的尺度。
- Softmax:将相似度转换为归一化权重。
Attention 的计算过程:
flowchart TB
A["输入向量"] --> B["线性映射"]
B --> C["生成 Q、K、V"]
C --> D["计算 Q 与 K 的相似度"]
D --> E["除以 √dk 进行缩放"]
E --> F["Softmax 计算注意力权重"]
F --> G["与 V 加权求和"]
G --> H["得到 Attention 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
4.3 Self-Attention:自注意力
Self-Attention 表示 Query、Key、Value 都来自同一输入序列的表示。
它允许序列中的每个位置,根据注意力权重聚合其他位置的信息。
例如:
我喜欢学习人工智能,因为它很有趣。
在处理“它”时,模型可以利用上下文中与其相关的其他 Token 表示。
对于自回归语言模型,还需要使用因果掩码(Causal Mask),限制当前位置只能关注自己以及之前的位置,不能访问未来 Token。
例如:
| 当前位置 | 允许关注的位置 |
|---|---|
| Token 1 | Token 1 |
| Token 2 | Token 1、Token 2 |
| Token 3 | Token 1、Token 2、Token 3 |
| Token 4 | Token 1、Token 2、Token 3、Token 4 |
这种机制保证训练时的预测任务不会提前看到答案。
4.4 Multi-Head Attention:多头注意力
单个 Attention 可以建立一种加权关联,多头注意力则通过多个注意力头并行计算不同的表示子空间。
其中:
不同注意力头能够学习不同类型的关联模式,例如:
- 语法关系。
- 语义关联。
- 长距离依赖。
- 位置关系。
- 上下文信息整合。
但不能简单地将每个注意力头固定解释为某一种明确的人类语言功能。实际学习到的模式可能复杂且相互重叠。
4.5 Feed Forward Network:前馈网络
Attention 负责上下文信息交互,Feed Forward Network(FFN)负责对每个位置的表示进行进一步非线性变换。
典型 FFN 可以表示为:
其中:
- W_1、W_2:可学习权重矩阵。
- b_1、b_2:偏置。
- \sigma:非线性激活函数。
FFN 通常会先将隐藏维度扩展,再映射回原始维度。
在现代大语言模型中,还经常使用 SwiGLU 等门控前馈结构。
4.6 残差连接与归一化
随着 Transformer 层数增加,网络训练会面临梯度传播和优化稳定性问题。
残差连接允许输入信息绕过部分计算模块:
其中:
- x:模块输入。
- F(x):模块计算结果。
- y:残差连接后的输出。
Layer Normalization 则用于对隐藏表示进行归一化,改善训练稳定性。
常见结构包括:
- Post-LN:先进行子层计算,再进行归一化。
- Pre-LN:先进行归一化,再进行子层计算。
现代大语言模型中广泛采用 Pre-LN 或其变体。
五、Transformer 的不同架构类型
Transformer 不只有一种结构。
根据任务目标和信息处理方式,可以分为三类。
| 架构 | 核心结构 | 主要特点 | 典型用途 |
|---|---|---|---|
| Encoder-only | 仅 Encoder | 双向上下文建模 | 文本分类、语义表示 |
| Decoder-only | 仅 Decoder | 自回归生成 | 对话、文本生成、代码生成 |
| Encoder-Decoder | Encoder + Decoder | 编码输入,再生成输出 | 翻译、摘要、序列转换 |
5.1 Encoder-only
Encoder-only 模型可以同时利用输入序列前后文信息。
典型代表是 BERT。
常见训练目标包括 Masked Language Modeling(MLM),即随机遮盖部分 Token,让模型根据上下文恢复被遮盖内容。
例如:
原始文本:人工智能正在改变软件开发。
训练输入:人工智能正在 [MASK] 软件开发。
预测目标:改变
它适合文本理解、分类和语义表示等任务,但不是典型的自回归文本生成架构。
5.2 Decoder-only
Decoder-only 模型使用因果掩码,只允许当前位置关注之前的 Token。
典型代表包括 GPT 系列模型。
其主要训练目标通常是预测下一个 Token:
其中:
- \theta:模型参数。
- x_t:目标 Token。
- x_{<t}:历史上下文。
- P_\theta:模型预测的条件概率。
Decoder-only 架构非常适合连续文本生成,也是当前生成式大语言模型的重要主流架构。
5.3 Encoder-Decoder
Encoder-Decoder 由两个主要部分构成:
- Encoder:理解和编码输入序列。
- Decoder:根据编码信息生成目标序列。
Decoder 通常通过 Cross-Attention 获取 Encoder 的输出表示。
典型代表包括 T5、原始 Transformer 等。
适合翻译、摘要、文本转换等输入输出关系明确的任务。
六、大语言模型是如何训练出来的?
大语言模型的训练通常涉及数据处理、模型初始化、预训练、后训练和评估等阶段。
6.1 预训练数据
大语言模型通常使用大规模数据进行训练,包括:
- 网页文本。
- 书籍和公开文档。
- 学术论文。
- 新闻和百科内容。
- 代码仓库。
- 数学和技术资料。
- 经过许可或专门构建的数据集。
训练数据质量直接影响模型的知识覆盖、语言能力和生成质量。
数据处理通常包括:
- 数据采集。
- 格式解析。
- 去重。
- 质量过滤。
- 敏感信息处理。
- Tokenization。
- 数据混合与采样。
- 训练数据组织。
6.2 预训练:Pre-training
预训练是大语言模型建立通用语言能力的重要阶段。
对于自回归模型,核心任务是根据前文预测下一个 Token。
例如:
输入:软件工程师需要掌握
目标:编程、设计、测试……
模型通过大量训练样本,不断调整参数,使目标 Token 的预测概率提高。
预训练的核心目标可以表示为:
其中:
- D:训练数据分布。
- X:训练文本序列。
- \theta:模型参数。
- P_\theta(X):模型对序列的概率估计。
6.3 损失函数
自回归语言模型常使用交叉熵损失。
对于一个目标 Token:
当模型对正确 Token 的预测概率越高,损失越低。
对于一个序列,可以将各位置的损失求和或求平均。
训练过程中,模型根据损失计算梯度,再通过优化器更新参数。
6.4 反向传播与参数更新
训练过程可以概括为:
flowchart TB
A["准备训练文本"] --> B["Tokenizer 转换为 Token ID"]
B --> C["模型前向传播"]
C --> D["计算 Logits"]
D --> E["计算交叉熵损失"]
E --> F["反向传播计算梯度"]
F --> G["优化器更新模型参数"]
G --> H{"是否达到训练条件"}
H -->|"否"| C
H -->|"是"| I["得到预训练模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要区分三个概念:
| 概念 | 作用 |
|---|---|
| 前向传播 | 根据输入计算模型输出 |
| 反向传播 | 根据损失计算参数梯度 |
| 优化器 | 根据梯度更新模型参数 |
三者共同构成神经网络的基本训练机制。
七、从预训练模型到聊天模型:后训练
预训练模型具备语言建模能力,但并不意味着它已经具备良好的对话体验。
例如,用户输入:
请解释什么是数据库索引。
基础预训练模型可能继续生成一段相关文本,但不一定会遵循明确的问答格式,也不一定能稳定执行用户指令。
因此,通常还需要进行后训练(Post-training)。
7.1 监督微调:SFT
SFT(Supervised Fine-Tuning)即监督微调。
其核心是使用高质量的指令和回答数据,对预训练模型进行进一步训练。
训练数据通常包含:
- 用户指令。
- 对话上下文。
- 期望回答。
- 特定格式要求。
例如:
指令:解释什么是数据库索引。
回答:数据库索引是一种用于提高数据查询效率的数据结构……
模型通过学习这些样本,逐渐适应指令跟随和对话任务。
7.2 人类偏好对齐
仅通过标准答案训练,不一定能够充分表达人类对回答质量的偏好。
例如,同一个问题可能有多个正确回答,但它们在准确性、完整性、表达方式和安全性方面存在差异。
因此,后训练还可能使用偏好数据。
常见方法包括:
- RLHF:基于人类反馈的强化学习。
- DPO:直接偏好优化。
- RLAIF:基于 AI 反馈的强化学习。
7.3 RLHF 的基本机制
RLHF(Reinforcement Learning from Human Feedback)通常包含以下关键环节:
- 收集人工偏好数据。
- 训练奖励模型。
- 使用奖励模型评估生成结果。
- 使用强化学习算法优化语言模型。
典型流程:
flowchart TB
A["预训练语言模型"] --> B["监督微调 SFT"]
B --> C["生成多个候选回答"]
C --> D["人工比较回答质量"]
D --> E["构建偏好数据"]
E --> F["训练奖励模型"]
F --> G["强化学习优化语言模型"]
G --> H["得到对齐后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,RLHF 不是所有大语言模型都必须采用的训练方式。不同模型可能使用 SFT、DPO、强化学习或其他后训练方法的组合。
八、大语言模型如何生成回答?
理解训练过程后,还需要理解模型在实际使用时如何工作。
推理(Inference)是指使用已经训练好的模型,根据输入计算输出的过程。
与训练不同,普通推理阶段通常不进行模型参数更新。
8.1 输入处理
用户输入:
什么是机器学习?
模型首先通过 Tokenizer 将文本转换为 Token ID。
然后通过 Embedding 将 Token ID 映射为向量,输入 Transformer 网络。
8.2 计算 Logits
经过 Transformer 多层计算后,模型得到上下文隐藏状态。
对于自回归生成,模型通常使用最后一个位置的隐藏状态,通过输出投影层(LM Head)映射到词表维度:
其中:
- h:当前位置的隐藏状态。
- W_{vocab}:输出投影矩阵。
- b:偏置项。
- logits:词表中各 Token 对应的未归一化分数。
Logits 并不是概率。
8.3 Softmax 转换为概率
通过 Softmax 可以将 Logits 转换为概率分布:
其中:
- z_i:第 i 个 Token 的 Logit。
- P(x_i):该 Token 对应的概率。
模型由此得到整个词表的概率分布。
8.4 解码策略
得到概率分布后,还需要决定选择哪个 Token。
常见解码策略包括:
| 策略 | 核心原理 | 特点 |
|---|---|---|
| Greedy Search | 每次选择概率最高的 Token | 确定性强,容易重复 |
| Beam Search | 保留多个候选序列 | 适合部分序列生成任务 |
| Top-K Sampling | 仅从概率最高的 K 个 Token 中采样 | 限制候选范围 |
| Top-P Sampling | 从累计概率达到阈值的候选集合中采样 | 候选集合动态变化 |
| Temperature | 调整概率分布的尖锐程度 | 控制生成随机性 |
Temperature 通常作用于 Softmax 之前:
其中 T 为温度参数。
- T 较低:概率分布更集中,生成结果通常更稳定。
- T 较高:概率分布更平缓,生成结果通常更多样。
- T 趋近于零:选择行为趋向贪心解码。
Temperature 不会增加模型知识,也不能保证提高回答准确率。