返回专栏
· 11 分钟阅读

微积分与梯度:模型优化的数学基础


一、为什么 AI 需要微积分?

机器学习的核心任务之一,是通过训练数据调整模型参数,使模型预测结果尽可能接近真实结果。

无论是线性回归、逻辑回归,还是深度神经网络、大语言模型,其训练过程都可以抽象为一个优化问题:

\theta^*=\arg\min_{\theta}L(\theta)

其中:

  • \theta:模型参数,例如权重和偏置。
  • L(\theta):模型损失函数,用于衡量模型预测与真实结果之间的差异。
  • \theta^*:使损失函数达到最小值的参数。

问题在于:模型参数通常数量庞大,损失函数又可能非常复杂,如何知道应该调整哪些参数、向哪个方向调整、调整多少?

这正是微积分发挥作用的地方。

微积分为模型优化提供了核心数学工具:

数学概念 在 AI 中的作用
函数 描述模型输入、参数与输出之间的关系
极限 理解连续变化与微小变化
导数 衡量函数在某一点的变化率
偏导数 衡量多个参数中某个参数的变化影响
梯度 汇总多参数方向上的变化信息
链式法则 将复杂计算拆解为局部导数的连续传递
积分 描述连续累积,在概率建模、期望计算等场景中使用
泰勒展开 近似分析函数在局部区域内的变化

其中,导数、偏导数、梯度和链式法则,是理解神经网络训练机制最重要的基础。


二、函数与模型参数:优化的起点

2.1 什么是函数?

函数描述输入与输出之间的映射关系。

y=f(x)

例如:

f(x)=x^2

当输入 x=2 时:

f(2)=4

在机器学习中,模型本身可以看作一个函数:

\hat{y}=f(x;\theta)

其中:

  • x:输入数据。
  • \theta:模型参数。
  • \hat{y}:模型预测结果。

以线性回归为例:

\hat{y}=wx+b

其中:

  • w:权重。
  • b:偏置。
  • x:输入特征。
  • \hat{y}:预测值。

模型训练的过程,就是寻找合适的 w 和 b,使预测值尽可能接近真实值。

2.2 损失函数

假设真实值为 y,模型预测值为 \hat{y},可以使用均方误差作为损失函数:

L(w,b)=\frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i-y_i)^2

代入线性模型:

L(w,b)=\frac{1}{n}\sum_{i=1}^{n}(wx_i+b-y_i)^2

此时,损失函数不再只是输入数据的函数,而是模型参数 w,b 的函数。

训练模型,就是寻找一组参数,使损失函数尽可能小。

2.3 从函数到优化问题

假设模型只有一个参数 w,损失函数为:

L(w)=(w-3)^2

其最小值出现在:

w=3

但对于复杂模型,损失函数可能包含数百万甚至数十亿个参数,无法直接通过简单代数计算找到最优解。

因此,需要研究函数在不同参数位置的变化规律。

这就引出了导数。


三、导数:衡量函数的变化率

3.1 导数的基本定义

导数描述函数在某一点附近,输入发生微小变化时,输出变化的快慢。

对于函数:

y=f(x)

其在 x 处的导数定义为:

f'(x)=\lim_{\Delta x\to 0} \frac{f(x+\Delta x)-f(x)}{\Delta x}

其中:

  • \Delta x:输入的微小变化量。
  • f(x+\Delta x)-f(x):输出的变化量。
  • 两者的比值:平均变化率。
  • 当 \Delta x 趋近于 0 时,得到瞬时变化率。

从几何角度看,导数表示函数曲线在某一点处切线的斜率。

3.2 导数的正负代表什么?

假设:

f(x)=x^2

求导:

f'(x)=2x

不同位置的导数具有不同含义:

位置 导数 含义
x<0 负数 函数随着 x 增大而下降
x=0 0 当前点切线斜率为 0
x>0 正数 函数随着 x 增大而上升

导数的正负能够告诉我们函数的局部变化方向。

在模型优化中,这一点非常重要:

  • 导数为正:参数增大时,损失倾向于增大。
  • 导数为负:参数增大时,损失倾向于减小。
  • 导数为零:当前点的一阶变化率为零,但不一定是最小值。

3.3 常见求导公式

理解常见求导规则,是后续学习梯度下降和反向传播的基础。

函数 导数
f(x)=c f'(x)=0
f(x)=x f'(x)=1
f(x)=x^n f'(x)=nx^{n-1}
f(x)=e^x f'(x)=e^x
f(x)=\ln x f'(x)=1/x
f(x)=\sin x f'(x)=\cos x
f(x)=\cos x f'(x)=-\sin x

几个重要的求导规则:

常数倍法则

\frac{d}{dx}[cf(x)]=cf'(x)

加减法则

\frac{d}{dx}[f(x)\pm g(x)] =f'(x)\pm g'(x)

乘积法则

\frac{d}{dx}[f(x)g(x)] =f'(x)g(x)+f(x)g'(x)

商法则

\frac{d}{dx}\left[\frac{f(x)}{g(x)}\right] = \frac{f'(x)g(x)-f(x)g'(x)}

链式法则

\frac{d}{dx}f(g(x)) =f'(g(x))g'(x)

链式法则是神经网络反向传播最重要的数学基础,后面会重点介绍。


四、偏导数:处理多个模型参数

4.1 为什么需要偏导数?

真实模型通常包含大量参数。

例如:

L(w,b)

这是一个包含两个变量的损失函数。

当 w 和 b 同时变化时,损失函数也会发生变化。

但我们希望分别了解:

  • 只调整 w,损失会如何变化?
  • 只调整 b,损失会如何变化?

这就需要偏导数。

偏导数表示多变量函数对其中一个变量的变化率,同时将其他变量视为常量。

对于:

L(w,b)=w^2+3wb+b^2

对 w 求偏导:

\frac{\partial L}{\partial w}=2w+3b

对 b 求偏导:

\frac{\partial L}{\partial b}=3w+2b

符号 \partial 表示偏导数,用于区别单变量函数的普通导数。

4.2 偏导数的几何意义

单变量函数的导数描述曲线某一点的切线斜率。

多变量函数可以理解为一个曲面。

例如:

z=f(x,y)

对 x 求偏导,表示固定 y,观察曲面沿 x 方向的局部变化率。

对 y 求偏导,则表示固定 x,观察曲面沿 y 方向的局部变化率。

4.3 偏导数在模型训练中的作用

以线性回归的均方误差为例:

L(w,b)=\frac{1}{n} \sum_{i=1}^{n}(wx_i+b-y_i)^2

对权重 w 求偏导:

\frac{\partial L}{\partial w} = \frac{2}{n} \sum_{i=1}^{n}(wx_i+b-y_i)x_i

对偏置 b 求偏导:

\frac{\partial L}{\partial b} = \frac{2}{n} \sum_{i=1}^{n}(wx_i+b-y_i)

这两个偏导数分别反映权重和偏置对当前损失的影响。

模型优化器可以利用这些信息,分别调整参数。


五、梯度:多参数优化的方向信息

5.1 什么是梯度?

梯度是多变量函数所有偏导数构成的向量。

对于:

L(\theta_1,\theta_2,\ldots,\theta_n)

其梯度为:

\nabla L= \begin{bmatrix} \frac{\partial L}{\partial \theta_1}\\ \frac{\partial L}{\partial \theta_2}\\ \vdots\\ \frac{\partial L}{\partial \theta_n} \end{bmatrix}

其中:

  • \nabla:梯度算子。
  • \theta_i:模型的第 i 个参数。
  • \frac{\partial L}{\partial\theta_i}:损失函数对该参数的偏导数。

梯度包含两个重要信息:

  1. 方向:函数增长最快的方向。
  2. 大小:函数在该方向上的最大局部变化率。

因此,梯度能够帮助我们判断应该如何调整模型参数。

5.2 梯度与损失下降

需要特别注意:

  • 梯度指向函数局部增长最快的方向。
  • 负梯度指向函数局部下降最快的方向。

因此,如果目标是最小化损失函数,通常沿负梯度方向更新参数。

对于一个二维损失函数:

L(w,b)

梯度为:

\nabla L(w,b)= \begin{bmatrix} \frac{\partial L}{\partial w}\\ \frac{\partial L}{\partial b} \end{bmatrix}

其负梯度方向为:

-\nabla L(w,b)

这意味着同时调整 w 和 b,让损失函数朝下降方向变化。

5.3 梯度的大小意味着什么?

梯度的模长为:

\|\nabla L\|= \sqrt{ \left(\frac{\partial L}{\partial w}\right)^2+ \left(\frac{\partial L}{\partial b}\right)^2 }

梯度模长反映函数在当前点附近的最大局部变化率。

一般而言:

  • 梯度较大:当前点附近损失变化较快。
  • 梯度较小:当前点附近损失变化较慢。
  • 梯度为零:当前点是一阶驻点。

但梯度较大不意味着一定应该使用更大的参数更新步长。实际更新还取决于学习率、曲率、参数尺度和优化器策略。

5.4 梯度为零就一定是最优解吗?

不一定。

考虑三个典型情况:

类型 一阶导数 含义
局部极小值 0 周围函数值不小于当前值
局部极大值 0 周围函数值不大于当前值
鞍点 0 某些方向上升,某些方向下降

例如:

f(x)=x^2

在 x=0 处取得极小值。

而:

f(x)=-x^2

在 x=0 处取得极大值。

再看:

f(x,y)=x^2-y^2

在 (0,0) 处梯度为零,但沿 x 方向函数增大,沿 y 方向函数减小,因此这是一个鞍点。

对于深度神经网络,损失函数通常是高维、非凸函数,鞍点和复杂的平坦区域都是优化过程中需要考虑的问题。


六、梯度下降:模型参数如何更新?

6.1 梯度下降的核心思想

梯度下降是一种基于梯度信息寻找函数局部最小值的优化算法。

核心思路:

  1. 初始化模型参数。
  2. 计算当前参数下的损失。
  3. 计算损失函数关于参数的梯度。
  4. 沿负梯度方向更新参数。
  5. 重复以上过程,直到满足停止条件。

参数更新公式:

\theta_{t+1} = \theta_t-\eta\nabla L(\theta_t)

其中:

  • \theta_t:当前参数。
  • \theta_{t+1}:更新后的参数。
  • \eta:学习率。
  • \nabla L(\theta_t):当前参数位置的梯度。

6.2 一个简单的数值例子

假设损失函数为:

L(w)=(w-3)^2

求导:

\frac{dL}{dw}=2(w-3)

设置初始参数:

w_0=0

学习率:

\eta=0.1

第一次更新:

w_1=w_0-\eta\cdot 2(w_0-3)
w_1=0-0.1\times(-6)=0.6

第二次更新:

w_2=0.6-0.1\times 2(0.6-3)
w_2=1.08

后续不断重复更新,参数逐渐接近最优值 w=3。

6.3 梯度下降过程

flowchart TB
    A["初始化模型参数"] --> B["输入训练数据"]
    B --> C["前向传播计算预测值"]
    C --> D["计算损失函数"]
    D --> E["计算参数梯度"]
    E --> F["根据学习率更新参数"]
    F --> G{"是否满足停止条件"}
    G -->|"否"| C
    G -->|"是"| H["输出训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

6.4 学习率为什么如此重要?

学习率决定每次参数更新的步长。

\theta_{t+1} = \theta_t-\eta\nabla L(\theta_t)

学习率过小:

  • 参数更新幅度小。
  • 收敛速度可能很慢。
  • 需要更多训练迭代。

学习率过大:

  • 可能跨过较优区域。
  • 损失函数可能来回震荡。
  • 严重时可能无法收敛,甚至出现数值发散。

学习率并不是越大越好,也不是越小越稳定就越好,需要结合损失曲面的形状和优化算法进行调整。


七、链式法则:神经网络反向传播的数学基础

这是微积分在深度学习中最重要的应用之一。

7.1 为什么需要链式法则?

神经网络通常由多个计算层组成。

后一层的输出依赖前一层的输出,最终损失又依赖网络输出。

例如:

x\rightarrow a\rightarrow z\rightarrow L

假设:

a=f(x)
z=g(a)
L=h(z)

那么损失函数 L 并不是直接由 x 决定,而是通过多个中间变量间接依赖 x。

我们希望求出:

\frac{dL}{dx}

根据链式法则:

\frac{dL}{dx} = \frac{dL}{dz} \cdot \frac{dz}{da} \cdot \frac{da}{dx}

也就是说,复杂函数的导数可以拆分为多个局部导数的乘积。

7.2 一个具体例子

假设:

a=x^2
z=3a
L=z^2

将其展开:

L=(3x^2)^2=9x^4

直接求导:

\frac{dL}{dx}=36x^3

也可以使用链式法则:

\frac{dL}{dz}=2z
\frac{dz}{da}=3
\frac{da}{dx}=2x

因此:

\frac{dL}{dx} = 2z\cdot 3\cdot 2x

代入 z=3x^2:

\frac{dL}{dx}=36x^3

两种方法得到相同结果。

7.3 链式法则如何应用于神经网络?

一个简单的神经网络可以抽象为:

flowchart LR
    A["输入 x"] --> B["线性变换"]
    B --> C["激活函数"]
    C --> D["下一层计算"]
    D --> E["预测输出"]
    E --> F["损失函数"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

在前向传播阶段:

  • 数据从输入层进入网络。
  • 每一层执行线性变换、激活函数等计算。
  • 最终得到模型预测结果。
  • 根据预测结果计算损失。

在反向传播阶段:

  • 从损失函数开始计算梯度。
  • 利用链式法则逐层向前传递梯度。
  • 计算各层参数对损失的影响。
  • 将梯度交给优化器更新参数。

7.4 反向传播中的权重梯度

考虑一个简单神经元:

z=wx+b
\hat{y}=\sigma(z)

其中 \sigma 是激活函数。

假设损失为:

L=\frac{1}{2}(\hat{y}-y)^2

要求权重 w 对损失的影响:

\frac{\partial L}{\partial w}

根据链式法则:

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial w}

分别计算:

\frac{\partial L}{\partial \hat{y}} =\hat{y}-y
\frac{\partial \hat{y}}{\partial z} =\sigma'(z)
\frac{\partial z}{\partial w}=x

最终:

\boxed{ \frac{\partial L}{\partial w} = (\hat{y}-y)\sigma'(z)x }

这个公式展示了反向传播的基本机制:将损失对输出的影响,逐层传递到权重参数。

7.5 为什么深度网络容易出现梯度消失和梯度爆炸?

反向传播需要连续应用链式法则。

当网络层数较多时,梯度可能涉及大量局部导数的连乘。

如果这些导数的绝对值长期小于 1,连乘结果可能迅速趋近于 0。

这就是梯度消失。

如果这些导数的绝对值长期大于 1,连乘结果可能快速增大。

这就是梯度爆炸。

flowchart TB
    A["深层网络反向传播"] --> B["连续计算局部梯度"]
    B --> C{"梯度连乘的数值变化"}
    C -->|"持续缩小"| D["梯度消失"]
    C -->|"持续增大"| E["梯度爆炸"]
    C -->|"保持合理范围"| F["梯度正常传播"]
    D --> G["前面层参数难以有效更新"]
    E --> H["训练不稳定或数值溢出"]
    F --> I["正常进行参数优化"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F7EAE5,stroke:#C98D79,color:#704334
    style E fill:#F7EAE5,stroke:#C98D79,color:#704334
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

常见缓解方法包括:

问题 常见方法
梯度消失 ReLU 等激活函数、合理初始化、残差连接
梯度爆炸 梯度裁剪、合理初始化、学习率调整
深层训练困难 残差结构、归一化方法、优化器改进
数值不稳定 合理的数据尺度、稳定的数值计算

需要注意:这些方法解决的是不同层面的训练问题,并不能保证所有网络都不会发生梯度消失或爆炸。


八、积分:连续累积与概率计算

导数研究变化率,积分研究累积量。

二者是微积分中紧密关联的两个核心概念。

8.1 定积分

对于函数:

y=f(x)

在区间 [a,b] 上的定积分:

\int_a^b f(x)\,dx

可以理解为函数曲线与横轴之间的有符号面积。

更严格地说,定积分描述函数在区间上的累积结果。

例如:

\int_0^2 x\,dx = \left.\frac{x^2}{2}\right|_0^2 =2

8.2 不定积分

不定积分用于寻找某个函数的原函数。

\int f(x)\,dx=F(x)+C

其中:

F'(x)=f(x)

C 是积分常数。

例如:

\int 2x\,dx=x^2+C

8.3 微积分基本定理