人工智能的发展离不开算法、数据和算力,但这三者并不能独立解释 AI 为什么能够学习、如何进行预测,以及模型为什么能够生成内容。
从机器学习到深度学习,从神经网络到大语言模型,几乎所有核心技术都建立在数学基础之上。
数学不仅是 AI 算法的实现工具,更是理解人工智能运行机制的理论基础。
例如:
- 模型为什么能够从数据中学习?涉及数学建模与优化理论。
- 模型如何判断两个对象是否相似?涉及向量、矩阵与距离计算。
- 神经网络如何调整参数?涉及微积分与梯度下降。
- 模型如何处理不确定性?涉及概率论与统计学。
- 大语言模型如何选择下一个 Token?涉及概率分布与数值计算。
- 模型为什么会过拟合?涉及统计学习理论与泛化能力。
理解这些问题,需要掌握一套相互关联的数学知识体系。
本文从 AI 的核心工作机制出发,梳理人工智能需要哪些数学基础、这些数学知识分别解决什么问题,以及它们在机器学习和大模型中的具体应用。
一、AI 与数学之间的关系
1.1 AI 本质上是一类数学建模与计算问题
人工智能可以理解为:通过数学模型描述数据中的规律,再利用计算方法学习模型参数,使模型具备预测、分类、决策或生成能力。
以一个简单的房价预测问题为例。
假设我们希望根据房屋面积预测房价,可以建立一个线性模型:
其中:
- x:房屋面积。
- y:预测房价。
- w:模型权重。
- b:偏置项。
模型需要通过已有的房屋数据学习 w 和 b,使预测结果尽可能接近真实房价。
这个过程涉及几个数学问题:
- 如何描述输入与输出之间的关系?
- 如何衡量预测结果与真实结果之间的差异?
- 如何根据误差调整模型参数?
- 如何判断模型是否能够处理没有见过的数据?
对应的数学基础分别包括:
| 数学领域 | 在 AI 中的作用 |
|---|---|
| 线性代数 | 表示和计算数据、向量、矩阵及模型参数 |
| 微积分 | 描述函数变化,计算模型参数的梯度 |
| 概率论 | 描述随机性和不确定性 |
| 数理统计 | 从样本数据中估计规律,分析模型表现 |
| 数学优化 | 寻找使损失函数最小的参数 |
| 信息论 | 衡量信息量、不确定性和概率分布差异 |
| 离散数学 | 支撑逻辑、图结构、算法和计算过程 |
1.2 数学在 AI 中承担的不同角色
数学在 AI 系统中并不是单一用途,而是贯穿整个模型生命周期。
| 阶段 | 核心问题 | 相关数学 |
|---|---|---|
| 数据表示 | 如何表示数据? | 线性代数、离散数学 |
| 模型构建 | 如何描述输入与输出关系? | 函数、线性代数 |
| 模型训练 | 如何调整参数? | 微积分、优化理论 |
| 概率预测 | 如何表示预测的不确定性? | 概率论 |
| 模型评估 | 如何判断模型表现? | 数理统计、概率论 |
| 内容生成 | 如何从候选结果中选择输出? | 概率论、信息论 |
| 模型压缩 | 如何降低计算与存储成本? | 线性代数、数值分析、优化 |
可以将 AI 的数学基础理解为一个完整的体系:
flowchart TB
A["AI 数学基础"]
B["数据与表示"]
C["模型与函数"]
D["训练与优化"]
E["概率与统计"]
F["信息与计算"]
G["线性代数"]
H["微积分"]
I["概率论与数理统计"]
J["数学优化"]
K["信息论"]
L["离散数学与数值分析"]
A --> B
A --> C
A --> D
A --> E
A --> F
B --> G
C --> G
D --> H
D --> J
E --> I
F --> K
F --> L
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
二、线性代数:AI 如何表示和处理数据?
线性代数是现代人工智能最重要的数学基础之一。
无论是传统机器学习,还是深度神经网络、大语言模型,都需要将数据转换为数值形式,再通过向量和矩阵运算完成计算。
2.1 标量、向量、矩阵与张量
AI 中常见的数据结构可以从四个层次理解。
标量(Scalar)
单个数值,例如:
可以表示一个温度、权重或者损失值。
向量(Vector)
由多个数值组成的一维结构:
可以表示一个样本的多个特征,也可以表示文本 Token 的 Embedding。
矩阵(Matrix)
由多个向量组成的二维结构:
可以表示一批样本的特征,也可以表示神经网络的权重参数。
张量(Tensor)
张量是标量、向量和矩阵在更高维度上的推广。
例如:
- 一张 RGB 图片可以表示为三维张量。
- 一批图片可以表示为四维张量。
- 一批文本序列的 Embedding 通常可以表示为三维张量。
以大语言模型为例,输入 Embedding 通常可以表示为:
其中:
- B:Batch Size,批次大小。
- T:Sequence Length,序列长度。
- D:Hidden Size,隐藏维度。
这意味着模型需要同时处理多个样本、每个样本中的多个 Token,以及每个 Token 对应的特征向量。
2.2 向量:数据的数学表示
机器学习模型通常无法直接理解文本、图片和声音,而是需要将其转换为数值向量。
例如,一个简单的用户特征可以表示为:
假设某个用户的数据为:
模型可以通过向量运算处理这些特征。
在自然语言处理中,Embedding 会将 Token 映射为高维向量。
例如:
这些向量并不是人工指定的语义编码,而是通过模型训练得到的数值表示。
向量空间中的几何关系,可以在一定程度上反映数据之间的语义关系。
2.3 向量相似度:模型如何衡量两个对象的接近程度?
在向量检索、推荐系统、语义搜索和 RAG 中,经常需要判断两个向量是否相似。
常见方法包括:
1. 欧几里得距离
距离越小,两个向量在欧几里得空间中越接近。
2. 余弦相似度
余弦相似度关注两个向量的方向关系,而不是单纯比较向量长度。
在文本 Embedding 检索中,余弦相似度是一种常见的相似度度量方式。
3. 点积
点积同时受到向量方向和向量模长的影响。
需要注意:余弦相似度、欧几里得距离和点积并不是可以无条件互换的指标。具体选择取决于向量是否归一化、模型训练目标和检索系统的设计。
2.4 矩阵运算:神经网络的核心计算方式
神经网络中的大量计算可以表示为矩阵乘法。
一个简单的线性变换:
其中:
- \mathbf{x}:输入向量。
- W:权重矩阵。
- \mathbf{b}:偏置向量。
- \mathbf{y}:输出向量。
对于一批输入数据,可以写成:
其中:
矩阵乘法使模型能够高效处理大量数据,也是 GPU 能够加速深度学习计算的重要原因。
2.5 Transformer 为什么高度依赖线性代数?
现代大语言模型普遍使用 Transformer 架构。
其中最重要的计算之一是 Attention:
其中:
- Q:Query,查询矩阵。
- K:Key,键矩阵。
- V:Value,值矩阵。
- d_k:Key 向量的维度。
这个计算过程包含:
- 矩阵转置。
- 矩阵乘法。
- 缩放。
- Softmax。
- 矩阵乘法。
Attention 通过矩阵运算计算不同 Token 之间的关联权重,再根据权重聚合信息。
这说明,理解 Transformer 的计算过程,离不开矩阵、向量和线性变换。
三、微积分:神经网络如何学习?
如果说线性代数解决的是数据表示和计算问题,那么微积分主要解决的是模型参数如何调整的问题。
神经网络训练的核心,就是不断调整参数,使模型预测结果更加接近目标结果。
3.1 函数:模型如何描述输入与输出关系?
机器学习模型可以抽象为一个函数:
其中:
- x:输入数据。
- \hat{y}:模型预测结果。
- \theta:模型参数。
- f:模型计算过程。
对于神经网络而言,模型通常由多个函数组合构成。
例如:
模型参数可能包含:
- 权重矩阵。
- 偏置向量。
- 归一化参数。
- Embedding 参数。
- Attention 投影矩阵。
神经网络训练,就是寻找一组更合适的参数。
3.2 导数:参数变化会对模型产生什么影响?
导数描述函数在某一点附近的变化率。
对于函数:
其导数为:
导数可以帮助我们判断:
- 当输入发生变化时,输出如何变化?
- 函数在某个位置是上升还是下降?
- 输入变化多少,会导致输出发生多大变化?
在 AI 中,我们更关心的是模型参数变化对损失函数的影响。
假设模型损失为:
其中 w 是需要学习的参数。
对 w 求导:
这个导数描述了参数 w 发生变化时,损失函数如何变化。
如果导数为正,通常意味着在当前位置增加 w 会使损失增加;如果导数为负,则意味着增加 w 会使损失下降。
因此,导数可以为参数更新提供方向信息。
3.3 偏导数:神经网络有大量参数怎么办?
实际神经网络通常有数百万、数十亿甚至更多参数。
此时,损失函数不再只是一个变量的函数,而是多个参数共同决定的函数:
需要分别计算损失函数对每个参数的偏导数:
所有参数的偏导数可以组合成梯度向量:
梯度表示损失函数增长最快的方向。
因此,负梯度方向通常是局部降低损失的方向。
3.4 梯度下降:模型如何更新参数?
梯度下降是一种常见的优化方法。
其基本更新公式为:
其中:
- \theta_t:当前模型参数。
- \eta:学习率。
- \nabla_\theta L:当前参数对应的梯度。
- \theta_{t+1}:更新后的模型参数。
学习率决定每次参数更新的步长。
学习率过大,可能导致训练过程震荡甚至发散;学习率过小,则可能使训练速度变慢。
3.5 链式法则:反向传播的数学基础
神经网络通常由多个计算层组成。
当最终输出产生误差时,需要将误差信息逐层传递回去,计算各层参数对最终损失的影响。
这依赖微积分中的链式法则。
假设:
那么:
对于多层神经网络,链式法则可以将复杂函数的导数拆分为多个局部导数的乘积。
这就是反向传播算法的数学基础。
3.6 反向传播的整体过程
flowchart TB
A["输入训练数据"]
B["前向传播"]
C["得到模型预测结果"]
D["计算损失函数"]
E["计算损失对输出的梯度"]
F["通过链式法则逐层反向传播"]
G["计算各参数的梯度"]
H["优化器更新参数"]
I["进入下一轮训练"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
需要注意,反向传播本身主要负责计算梯度,真正执行参数更新的是优化器。
例如 SGD、Adam、AdamW 都属于优化算法,它们会根据梯度和自身维护的状态更新参数。
3.7 微积分在 AI 中的主要应用
| 技术 | 微积分相关知识 | 主要作用 |
|---|---|---|
| 线性回归 | 导数、偏导数 | 优化回归参数 |
| 神经网络 | 链式法则 | 计算多层网络梯度 |
| 反向传播 | 多元微积分 | 逐层计算参数梯度 |
| 梯度下降 | 梯度 | 确定参数更新方向 |
| Adam 优化器 | 梯度及其统计量 | 自适应调整参数更新 |
| 深度学习 | 高阶导数、Jacobian 等 | 分析复杂模型的变化特征 |
四、概率论:AI 如何处理不确定性?
现实世界的数据通常存在噪声、不完整信息和不确定性。
模型不可能始终得到唯一且确定的答案,因此需要概率论描述不确定性。
4.1 随机变量与概率分布
随机变量是用于描述随机现象结果的数学变量。
例如,预测一封邮件是否为垃圾邮件:
其中:
- Y=1:垃圾邮件。
- Y=0:正常邮件。
模型可以输出:
表示在给定输入 X 的条件下,模型认为邮件属于垃圾邮件的概率为 0.95。
这里的条件概率非常重要。
机器学习中的分类模型,往往不是直接输出类别,而是先估计不同类别的条件概率,再根据决策规则得到最终分类结果。
4.2 条件概率:模型如何根据上下文预测?
条件概率表示在某个条件已经成立的情况下,另一个事件发生的概率。
在自然语言处理中,模型需要根据前面的 Token 预测下一个 Token。
例如:
给定上下文:
今天天气非常
模型可能计算:
最终得到一个覆盖候选 Token 的概率分布。
大语言模型的自回归生成过程可以表示为:
这意味着模型通过不断预测下一个 Token,逐步生成完整序列。
4.3 贝叶斯公式:如何根据新证据更新判断?
贝叶斯公式是概率论中的重要工具:
其中:
- P(A):先验概率。
- P(B|A):似然。
- P(B):证据的边缘概率。
- P(A|B):后验概率。
它描述了一个重要过程:
在获得新证据后,如何更新原来的判断。
例如,垃圾邮件过滤系统可以结合邮件中出现的关键词、发件人特征和历史数据,更新邮件属于垃圾邮件的概率。
朴素贝叶斯分类器就是基于贝叶斯理论构建的一类经典机器学习算法。
4.4 Softmax:如何将模型输出转换成概率?
神经网络最后一层通常输出一组实数,称为 Logits。
Logits 本身不是概率。
Softmax 可以将它们转换为概率分布:
其中:
- z_i:第 i 个类别对应的 Logit。
- P(y_i):第 i 个类别对应的概率。
Softmax 输出满足:
例如,模型对三个类别输出:
| 类别 | Logit | Softmax 概率 |
|---|---|---|
| 猫 | 2.0 | 0.665 |
| 狗 | 1.0 | 0.245 |
| 鸟 | 0.0 | 0.090 |
模型认为当前输入最可能属于猫。
需要注意:Softmax 输出的概率并不自动代表模型经过校准的真实置信度。模型可能对错误预测也给出很高的概率。
4.5 概率论在 AI 中的主要应用
| 技术 | 概率知识 | 主要作用 |
|---|---|---|
| 逻辑回归 | 条件概率 | 分类预测 |
| 朴素贝叶斯 | 贝叶斯公式 | 概率分类 |
| 隐马尔可夫模型 | 条件概率、联合概率 | 序列建模 |
| 神经网络分类 | Softmax | 输出类别概率 |
| 大语言模型 | 条件概率 | 预测下一个 Token |
| 扩散模型 | 概率分布 | 学习数据生成过程 |
| 强化学习 | 随机策略、状态转移概率 | 描述决策过程 |
五、数理统计:模型如何从数据中学习规律?
概率论主要研究随机现象及其概率规律。
数理统计则更加关注如何利用有限样本推断总体特征,以及如何判断模型的学习结果是否可靠。
这是机器学习非常重要的基础。
5.1 总体与样本
在机器学习中,我们通常无法获得所有可能的数据,只能使用有限的训练样本。
例如:
- 总体:所有可能出现的用户行为。
- 样本:收集到的 100 万条用户行为记录。
模型通过样本学习规律,希望在未见过的数据上也能表现良好。
这里涉及一个重要概念:
训练数据的表现好,不代表模型对真实数据也表现好。
模型真正需要具备的是泛化能力。
5.2 均值、方差与标准差
均值用于描述数据的集中趋势:
方差用于描述数据的离散程度。
总体方差:
样本方差的常见无偏估计为:
标准差是方差的平方根:
这些统计量在 AI 中有很多用途:
- 判断数据是否存在较大波动。
- 发现异常值。
- 进行数据标准化。
- 分析训练过程中的指标变化。
- 评估模型预测误差的分布。
5.3 正态分布
正态分布是一种常见的连续概率分布:
其中:
- \mu:均值。
- \sigma^2:方差。
正态分布在统计推断、误差分析和模型假设中经常出现。
例如,部分回归模型会假设误差项服从均值为零、方差固定的正态分布,以便进行参数估计和统计推断。
但需要注意,并不是所有 AI 数据都服从正态分布,也不是所有机器学习模型都要求数据服从正态分布。
5.4 过拟合与欠拟合
这是机器学习中非常重要的统计学习问题。
欠拟合(Underfitting)
模型过于简单,无法捕获数据中的主要规律。
表现:
- 训练集效果较差。
- 测试集效果也较差。
过拟合(Overfitting)
模型过度拟合训练数据中的细节甚至噪声,导致对新数据的预测能力下降。
表现:
- 训练集效果很好。
- 测试集效果明显较差。
可以通过训练集和验证集的表现观察模型是否存在过拟合。
flowchart TB
A["准备训练数据"]
B["训练模型"]
C["评估训练集表现"]
D["评估验证集表现"]
E{"训练与验证表现是否合理"}
F["可能存在欠拟合"]
G["模型泛化表现较好"]
H["可能存在过拟合"]
I["调整模型复杂度或训练策略"]
A --> B
B --> C
C --> D
D --> E
E -->|"训练和验证效果都较差"| F
E -->|"训练和验证效果都较好"| G
E -->|"训练效果好,验证效果差"| H
F --> I
H --> I
I --> B
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
5.5 偏差与方差
机器学习中的 Bias-Variance Tradeoff(偏差与方差权衡)描述了模型复杂度与预测误差之间的关系。
在经典平方误差分解的适用条件下:
其中:
- Bias:偏差,反映模型预测与真实规律之间的系统性差异。
- Variance:方差,反映模型对训练数据变化的敏感程度。
- Noise:不可约噪声。
通常而言:
- 模型过于简单,可能产生较高偏差。
- 模型过于复杂,可能产生较高方差。
- 模型设计需要在两者之间取得合理平衡。
这也是为什么模型参数更多,并不意味着模型一定更好。
5.6 训练集、验证集与测试集
在机器学习中,数据通常会被划分为不同集合。
| 数据集 | 主要作用 |
|---|---|
| 训练集 | 用于学习模型参数 |
| 验证集 | 用于模型选择、超参数调整 |
| 测试集 | 用于最终评估模型的泛化表现 |
需要特别注意数据泄漏问题。
如果测试集的信息参与了训练或者模型选择,最终测试指标就可能过于乐观,不能真实反映模型的泛化能力。
六、数学优化:如何找到更好的模型参数?
模型训练可以抽象为一个优化问题:
其中:
- \theta:模型参数。
- L(\theta):损失函数。
- \theta^*:使损失函数达到最小值的参数。
数学优化研究的就是如何寻找满足目标的最优解。
6.1 损失函数
损失函数用于衡量模型预测结果与目标结果之间的差异。
不同任务会使用不同的损失函数。
均方误差(MSE)
常用于回归任务:
平均绝对误差(MAE)
交叉熵损失
常用于分类任务和语言模型训练。
对于单个样本的多分类问题:
其中:
- C:类别数量。
- y_i:真实标签的分布。
- p_i:模型预测的概率分布。
对于单标签分类,真实标签通常采用 One-Hot 表示,因此交叉熵会重点惩罚真实类别对应的低预测概率。