一、为什么 AI 需要微积分?
机器学习的核心任务之一,是通过训练数据调整模型参数,使模型预测结果尽可能接近真实结果。
无论是线性回归、逻辑回归,还是深度神经网络、大语言模型,其训练过程都可以抽象为一个优化问题:
其中:
- \theta:模型参数,例如权重和偏置。
- L(\theta):模型损失函数,用于衡量模型预测与真实结果之间的差异。
- \theta^*:使损失函数达到最小值的参数。
问题在于:模型参数通常数量庞大,损失函数又可能非常复杂,如何知道应该调整哪些参数、向哪个方向调整、调整多少?
这正是微积分发挥作用的地方。
微积分为模型优化提供了核心数学工具:
| 数学概念 | 在 AI 中的作用 |
|---|---|
| 函数 | 描述模型输入、参数与输出之间的关系 |
| 极限 | 理解连续变化与微小变化 |
| 导数 | 衡量函数在某一点的变化率 |
| 偏导数 | 衡量多个参数中某个参数的变化影响 |
| 梯度 | 汇总多参数方向上的变化信息 |
| 链式法则 | 将复杂计算拆解为局部导数的连续传递 |
| 积分 | 描述连续累积,在概率建模、期望计算等场景中使用 |
| 泰勒展开 | 近似分析函数在局部区域内的变化 |
其中,导数、偏导数、梯度和链式法则,是理解神经网络训练机制最重要的基础。
二、函数与模型参数:优化的起点
2.1 什么是函数?
函数描述输入与输出之间的映射关系。
例如:
当输入 x=2 时:
在机器学习中,模型本身可以看作一个函数:
其中:
- x:输入数据。
- \theta:模型参数。
- \hat{y}:模型预测结果。
以线性回归为例:
其中:
- w:权重。
- b:偏置。
- x:输入特征。
- \hat{y}:预测值。
模型训练的过程,就是寻找合适的 w 和 b,使预测值尽可能接近真实值。
2.2 损失函数
假设真实值为 y,模型预测值为 \hat{y},可以使用均方误差作为损失函数:
代入线性模型:
此时,损失函数不再只是输入数据的函数,而是模型参数 w,b 的函数。
训练模型,就是寻找一组参数,使损失函数尽可能小。
2.3 从函数到优化问题
假设模型只有一个参数 w,损失函数为:
其最小值出现在:
但对于复杂模型,损失函数可能包含数百万甚至数十亿个参数,无法直接通过简单代数计算找到最优解。
因此,需要研究函数在不同参数位置的变化规律。
这就引出了导数。
三、导数:衡量函数的变化率
3.1 导数的基本定义
导数描述函数在某一点附近,输入发生微小变化时,输出变化的快慢。
对于函数:
其在 x 处的导数定义为:
其中:
- \Delta x:输入的微小变化量。
- f(x+\Delta x)-f(x):输出的变化量。
- 两者的比值:平均变化率。
- 当 \Delta x 趋近于 0 时,得到瞬时变化率。
从几何角度看,导数表示函数曲线在某一点处切线的斜率。
3.2 导数的正负代表什么?
假设:
求导:
不同位置的导数具有不同含义:
| 位置 | 导数 | 含义 |
|---|---|---|
| x<0 | 负数 | 函数随着 x 增大而下降 |
| x=0 | 0 | 当前点切线斜率为 0 |
| x>0 | 正数 | 函数随着 x 增大而上升 |
导数的正负能够告诉我们函数的局部变化方向。
在模型优化中,这一点非常重要:
- 导数为正:参数增大时,损失倾向于增大。
- 导数为负:参数增大时,损失倾向于减小。
- 导数为零:当前点的一阶变化率为零,但不一定是最小值。
3.3 常见求导公式
理解常见求导规则,是后续学习梯度下降和反向传播的基础。
| 函数 | 导数 |
|---|---|
| f(x)=c | f'(x)=0 |
| f(x)=x | f'(x)=1 |
| f(x)=x^n | f'(x)=nx^{n-1} |
| f(x)=e^x | f'(x)=e^x |
| f(x)=\ln x | f'(x)=1/x |
| f(x)=\sin x | f'(x)=\cos x |
| f(x)=\cos x | f'(x)=-\sin x |
几个重要的求导规则:
常数倍法则
加减法则
乘积法则
商法则
链式法则
链式法则是神经网络反向传播最重要的数学基础,后面会重点介绍。
四、偏导数:处理多个模型参数
4.1 为什么需要偏导数?
真实模型通常包含大量参数。
例如:
这是一个包含两个变量的损失函数。
当 w 和 b 同时变化时,损失函数也会发生变化。
但我们希望分别了解:
- 只调整 w,损失会如何变化?
- 只调整 b,损失会如何变化?
这就需要偏导数。
偏导数表示多变量函数对其中一个变量的变化率,同时将其他变量视为常量。
对于:
对 w 求偏导:
对 b 求偏导:
符号 \partial 表示偏导数,用于区别单变量函数的普通导数。
4.2 偏导数的几何意义
单变量函数的导数描述曲线某一点的切线斜率。
多变量函数可以理解为一个曲面。
例如:
对 x 求偏导,表示固定 y,观察曲面沿 x 方向的局部变化率。
对 y 求偏导,则表示固定 x,观察曲面沿 y 方向的局部变化率。
4.3 偏导数在模型训练中的作用
以线性回归的均方误差为例:
对权重 w 求偏导:
对偏置 b 求偏导:
这两个偏导数分别反映权重和偏置对当前损失的影响。
模型优化器可以利用这些信息,分别调整参数。
五、梯度:多参数优化的方向信息
5.1 什么是梯度?
梯度是多变量函数所有偏导数构成的向量。
对于:
其梯度为:
其中:
- \nabla:梯度算子。
- \theta_i:模型的第 i 个参数。
- \frac{\partial L}{\partial\theta_i}:损失函数对该参数的偏导数。
梯度包含两个重要信息:
- 方向:函数增长最快的方向。
- 大小:函数在该方向上的最大局部变化率。
因此,梯度能够帮助我们判断应该如何调整模型参数。
5.2 梯度与损失下降
需要特别注意:
- 梯度指向函数局部增长最快的方向。
- 负梯度指向函数局部下降最快的方向。
因此,如果目标是最小化损失函数,通常沿负梯度方向更新参数。
对于一个二维损失函数:
梯度为:
其负梯度方向为:
这意味着同时调整 w 和 b,让损失函数朝下降方向变化。
5.3 梯度的大小意味着什么?
梯度的模长为:
梯度模长反映函数在当前点附近的最大局部变化率。
一般而言:
- 梯度较大:当前点附近损失变化较快。
- 梯度较小:当前点附近损失变化较慢。
- 梯度为零:当前点是一阶驻点。
但梯度较大不意味着一定应该使用更大的参数更新步长。实际更新还取决于学习率、曲率、参数尺度和优化器策略。
5.4 梯度为零就一定是最优解吗?
不一定。
考虑三个典型情况:
| 类型 | 一阶导数 | 含义 |
|---|---|---|
| 局部极小值 | 0 | 周围函数值不小于当前值 |
| 局部极大值 | 0 | 周围函数值不大于当前值 |
| 鞍点 | 0 | 某些方向上升,某些方向下降 |
例如:
在 x=0 处取得极小值。
而:
在 x=0 处取得极大值。
再看:
在 (0,0) 处梯度为零,但沿 x 方向函数增大,沿 y 方向函数减小,因此这是一个鞍点。
对于深度神经网络,损失函数通常是高维、非凸函数,鞍点和复杂的平坦区域都是优化过程中需要考虑的问题。
六、梯度下降:模型参数如何更新?
6.1 梯度下降的核心思想
梯度下降是一种基于梯度信息寻找函数局部最小值的优化算法。
核心思路:
- 初始化模型参数。
- 计算当前参数下的损失。
- 计算损失函数关于参数的梯度。
- 沿负梯度方向更新参数。
- 重复以上过程,直到满足停止条件。
参数更新公式:
其中:
- \theta_t:当前参数。
- \theta_{t+1}:更新后的参数。
- \eta:学习率。
- \nabla L(\theta_t):当前参数位置的梯度。
6.2 一个简单的数值例子
假设损失函数为:
求导:
设置初始参数:
学习率:
第一次更新:
第二次更新:
后续不断重复更新,参数逐渐接近最优值 w=3。
6.3 梯度下降过程
flowchart TB
A["初始化模型参数"] --> B["输入训练数据"]
B --> C["前向传播计算预测值"]
C --> D["计算损失函数"]
D --> E["计算参数梯度"]
E --> F["根据学习率更新参数"]
F --> G{"是否满足停止条件"}
G -->|"否"| C
G -->|"是"| H["输出训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
6.4 学习率为什么如此重要?
学习率决定每次参数更新的步长。
学习率过小:
- 参数更新幅度小。
- 收敛速度可能很慢。
- 需要更多训练迭代。
学习率过大:
- 可能跨过较优区域。
- 损失函数可能来回震荡。
- 严重时可能无法收敛,甚至出现数值发散。
学习率并不是越大越好,也不是越小越稳定就越好,需要结合损失曲面的形状和优化算法进行调整。
七、链式法则:神经网络反向传播的数学基础
这是微积分在深度学习中最重要的应用之一。
7.1 为什么需要链式法则?
神经网络通常由多个计算层组成。
后一层的输出依赖前一层的输出,最终损失又依赖网络输出。
例如:
假设:
那么损失函数 L 并不是直接由 x 决定,而是通过多个中间变量间接依赖 x。
我们希望求出:
根据链式法则:
也就是说,复杂函数的导数可以拆分为多个局部导数的乘积。
7.2 一个具体例子
假设:
将其展开:
直接求导:
也可以使用链式法则:
因此:
代入 z=3x^2:
两种方法得到相同结果。
7.3 链式法则如何应用于神经网络?
一个简单的神经网络可以抽象为:
flowchart LR
A["输入 x"] --> B["线性变换"]
B --> C["激活函数"]
C --> D["下一层计算"]
D --> E["预测输出"]
E --> F["损失函数"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
在前向传播阶段:
- 数据从输入层进入网络。
- 每一层执行线性变换、激活函数等计算。
- 最终得到模型预测结果。
- 根据预测结果计算损失。
在反向传播阶段:
- 从损失函数开始计算梯度。
- 利用链式法则逐层向前传递梯度。
- 计算各层参数对损失的影响。
- 将梯度交给优化器更新参数。
7.4 反向传播中的权重梯度
考虑一个简单神经元:
其中 \sigma 是激活函数。
假设损失为:
要求权重 w 对损失的影响:
根据链式法则:
分别计算:
最终:
这个公式展示了反向传播的基本机制:将损失对输出的影响,逐层传递到权重参数。
7.5 为什么深度网络容易出现梯度消失和梯度爆炸?
反向传播需要连续应用链式法则。
当网络层数较多时,梯度可能涉及大量局部导数的连乘。
如果这些导数的绝对值长期小于 1,连乘结果可能迅速趋近于 0。
这就是梯度消失。
如果这些导数的绝对值长期大于 1,连乘结果可能快速增大。
这就是梯度爆炸。
flowchart TB
A["深层网络反向传播"] --> B["连续计算局部梯度"]
B --> C{"梯度连乘的数值变化"}
C -->|"持续缩小"| D["梯度消失"]
C -->|"持续增大"| E["梯度爆炸"]
C -->|"保持合理范围"| F["梯度正常传播"]
D --> G["前面层参数难以有效更新"]
E --> H["训练不稳定或数值溢出"]
F --> I["正常进行参数优化"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F7EAE5,stroke:#C98D79,color:#704334
style E fill:#F7EAE5,stroke:#C98D79,color:#704334
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
常见缓解方法包括:
| 问题 | 常见方法 |
|---|---|
| 梯度消失 | ReLU 等激活函数、合理初始化、残差连接 |
| 梯度爆炸 | 梯度裁剪、合理初始化、学习率调整 |
| 深层训练困难 | 残差结构、归一化方法、优化器改进 |
| 数值不稳定 | 合理的数据尺度、稳定的数值计算 |
需要注意:这些方法解决的是不同层面的训练问题,并不能保证所有网络都不会发生梯度消失或爆炸。
八、积分:连续累积与概率计算
导数研究变化率,积分研究累积量。
二者是微积分中紧密关联的两个核心概念。
8.1 定积分
对于函数:
在区间 [a,b] 上的定积分:
可以理解为函数曲线与横轴之间的有符号面积。
更严格地说,定积分描述函数在区间上的累积结果。
例如:
8.2 不定积分
不定积分用于寻找某个函数的原函数。
其中:
C 是积分常数。
例如: