一、前言
神经网络通过前向传播生成预测结果,但预测结果是否符合预期,需要一个明确的衡量标准。
例如:
- 回归任务:预测房价为 200 万,真实房价为 220 万,误差有多大?
- 分类任务:模型预测某张图片属于猫的概率为 90%,但真实类别是狗,模型应该受到多大惩罚?
- 语言模型:模型预测下一个 Token 的概率分布,与真实 Token 之间存在多大差异?
这些问题都涉及机器学习中的一个核心概念:损失函数(Loss Function)。
损失函数用于衡量模型预测结果与真实目标之间的差异。优化算法则根据损失函数提供的梯度信息,调整模型参数,使模型逐步获得更好的预测能力。
理解损失函数与优化目标,需要掌握以下内容:
- 损失函数、代价函数与优化目标的区别。
- 回归、分类任务中的主流损失函数。
- 交叉熵、负对数似然与概率建模之间的关系。
- 损失函数的梯度与模型参数更新。
- 正则化、权重衰减与泛化能力。
- 多任务学习中的损失组合与权重设计。
- 训练损失、验证损失与模型选择。
二、什么是损失函数?
损失函数是一个用于衡量模型预测结果与真实目标之间差异的数学函数。
假设:
- 输入数据为 X。
- 真实标签为 Y。
- 模型参数为 \theta。
- 模型预测结果为 \hat{Y}。
前向传播可以表示为:
损失函数表示为:
其中:
- f:神经网络模型。
- \theta:模型参数。
- \ell:损失函数。
- L:当前样本或当前批次的损失值。
损失值通常是一个标量,用于描述模型在当前数据上的预测误差。
一般而言,在损失定义合理的前提下,损失越小,代表模型预测结果越符合训练目标。
2.1 单样本损失
对于单个样本:
例如,房价预测:
- 真实房价:220 万。
- 模型预测:200 万。
如果使用平方误差:
这里的损失值为 400,单位是平方后的价格单位。
2.2 批量损失
实际训练中,模型通常一次处理多个样本。
假设一个批次包含 m 个样本,则批量平均损失可以表示为:
也可以根据具体任务使用求和、加权平均或其他聚合方式。
批量损失将多个样本的误差整合为一个优化目标,便于后续计算梯度。
2.3 损失函数的基本作用
损失函数主要承担三个职责:
- 误差度量: 衡量模型预测与真实目标之间的差异。
- 优化依据: 为梯度计算和参数更新提供目标。
- 模型比较: 在相同数据、相同损失定义下,比较模型的优化效果。
需要注意:损失值并不一定等于实际业务误差。例如,MSE 的单位是目标变量单位的平方,而 MAE 与目标变量具有相同单位。
三、损失函数、代价函数与优化目标
机器学习资料中经常出现 Loss、Cost Function、Objective Function 等概念。
这些术语有联系,但不完全等价。
| 概念 | 英文 | 含义 |
|---|---|---|
| 损失函数 | Loss Function | 衡量单个样本或一个批次的预测误差 |
| 代价函数 | Cost Function | 通常表示整个数据集上的平均损失 |
| 优化目标 | Objective Function | 模型训练时实际需要最小化或最大化的目标 |
| 正则化项 | Regularization Term | 对模型复杂度或参数规模施加约束 |
| 评估指标 | Evaluation Metric | 用于衡量模型实际表现的指标 |
在不同论文和框架中,这些术语的使用可能有所重叠,不能仅凭名称判断其具体数学定义。
3.1 从单样本损失到整体目标
假设训练数据集包含 N 个样本:
单个样本的损失为:
整个数据集的经验风险为:
这就是经验风险最小化(Empirical Risk Minimization,ERM)的基本形式。
训练模型的目标通常是寻找一组参数:
其中:
- \theta:模型参数。
- J(\theta):整体训练目标。
- \theta^*:使目标函数达到较小值的参数。
3.2 加入正则化后的优化目标
如果只最小化训练误差,模型可能过度拟合训练数据。
因此,可以在目标函数中加入正则化项:
其中:
- 第一项:数据拟合损失。
- R(\theta):正则化函数。
- \lambda:正则化强度。
此时,模型需要同时考虑两个方面:
- 尽可能拟合训练数据。
- 控制模型复杂度或参数规模。
这构成了机器学习中非常重要的优化思想。
四、回归任务中的常见损失函数
回归任务的目标是预测连续数值,例如:
- 房价预测。
- 销售额预测。
- 温度预测。
- 用户消费金额预测。
- 设备剩余寿命预测。
回归问题通常需要衡量预测数值与真实数值之间的差异。
4.1 均方误差(MSE)
均方误差(Mean Squared Error)是最常见的回归损失函数之一。
公式:
其中:
- y_i:真实值。
- \hat{y}_i:预测值。
- N:样本数量。
特点:
- 对误差进行平方。
- 误差越大,惩罚增长越快。
- 对异常值比较敏感。
- 数学性质良好,便于求导和优化。
单样本损失:
对预测值求导:
误差越大,梯度绝对值通常越大。
适用场景:
预测误差较大时需要更强惩罚,并且异常值不会严重干扰训练的回归任务。
4.2 均方根误差(RMSE)
均方根误差(Root Mean Squared Error):
RMSE 是 MSE 的平方根。
特点:
- 与预测目标具有相同单位。
- 对较大误差依然敏感。
- 常用于回归模型效果评估。
需要注意:RMSE 在某些训练实现中也可以直接作为优化目标,但其梯度形式与 MSE 不同,且在误差整体为零附近需要考虑数值处理。
4.3 平均绝对误差(MAE)
平均绝对误差(Mean Absolute Error):
特点:
- 对误差取绝对值。
- 不会像 MSE 一样平方放大大误差。
- 对异常值相对不敏感。
- 在误差为零的位置不可导,但可以使用次梯度进行优化。
单样本损失:
其对预测值的梯度为:
在 \hat{y}=y 时,使用次梯度定义。
4.4 Huber Loss
Huber Loss 结合了 MSE 和 MAE 的特点。
定义:
其中:
\delta 是控制分段位置的阈值。
特点:
- 小误差区域使用平方误差。
- 大误差区域使用线性惩罚。
- 相比 MSE,对异常值更加稳健。
- 在分段连接处保持一阶导数连续。
适用场景:
数据中存在一定异常值,但仍然希望保留平方误差在小误差区域的优化特性。
4.5 回归损失函数对比
| 损失函数 | 误差处理 | 异常值敏感程度 | 特点 |
|---|---|---|---|
| MSE | 平方误差 | 高 | 大误差惩罚明显 |
| RMSE | 平方误差后开方 | 高 | 与目标变量单位一致 |
| MAE | 绝对误差 | 较低 | 对异常值更稳健 |
| Huber | 分段平方与线性 | 中等 | 兼顾平滑性和稳健性 |
五、分类任务中的常见损失函数
分类任务的目标是判断样本属于哪个类别。
例如:
- 垃圾邮件识别。
- 图片分类。
- 用户流失预测。
- 风险识别。
- 文本情感分类。
分类模型通常输出类别分数或概率分布,再通过损失函数衡量预测结果与真实类别之间的差异。
5.1 二分类交叉熵(Binary Cross Entropy)
二分类任务通常使用二元交叉熵损失(BCE)。
假设:
- 真实标签 y\in\{0,1\}。
- 模型预测正类概率为 p。
损失函数:
当真实标签为 1:
当真实标签为 0:
可以看出:
- 真实类别为正类,模型预测正类概率越高,损失越小。
- 真实类别为负类,模型预测负类概率越高,损失越小。
- 对真实类别预测概率过低时,损失会快速增大。
例如:
真实标签:
不同预测概率对应的损失:
| 预测概率 p | 损失 -\log p |
|---|---|
| 0.99 | 0.0101 |
| 0.90 | 0.1054 |
| 0.70 | 0.3567 |
| 0.50 | 0.6931 |
| 0.10 | 2.3026 |
| 0.01 | 4.6052 |
模型越确信地预测错误类别,受到的惩罚越大。
5.2 从 Sigmoid 到二元交叉熵
二分类神经网络通常先输出一个 Logit:
再通过 Sigmoid 转换为概率:
将概率代入 BCE:
进一步可以写成:
这个表达式是 Logits 形式的二元交叉熵。
实际工程中,优先使用数值稳定的 Logits 版本实现,而不是先手动计算 Sigmoid,再进行 Log 运算。
例如 PyTorch:
import torch
import torch.nn as nn
criterion = nn.BCEWithLogitsLoss()
logits = torch.tensor([0.8, -0.5, 1.2])
targets = torch.tensor([1.0, 0.0, 1.0])
loss = criterion(logits, targets)
这里传入的是 Logits,而不是经过 Sigmoid 处理的概率。
5.3 多分类交叉熵(Categorical Cross Entropy)
多分类任务通常采用 Softmax 将模型输出转换为类别概率分布。
假设模型有 C 个类别,输出 Logits:
Softmax:
其中:
对于独热编码标签 y,交叉熵为:
如果真实类别是第 c 类,则:
也就是说,多分类交叉熵主要惩罚模型对真实类别分配的概率不足。
5.4 Softmax 与交叉熵的组合
多分类神经网络通常采用:
但在实际框架中,通常直接使用 Logits 版本的交叉熵损失。
例如 PyTorch:
import torch
import torch.nn as nn
criterion = nn.CrossEntropyLoss()
logits = torch.tensor([
[2.0, 1.0, 0.1],
[0.2, 0.5, 2.1]
])
targets = torch.tensor([0, 2])
loss = criterion(logits, targets)
这里有两个关键点:
logits是未经 Softmax 处理的原始分数。targets是类别索引,而不是必须手动转换成独热编码。
PyTorch 的 CrossEntropyLoss 内部会执行数值稳定的 LogSoftmax 和负对数似然计算。
5.5 多标签分类与二分类交叉熵
多分类与多标签分类不能混淆。
多分类:
一个样本只能属于一个类别。
例如:
- 猫。
- 狗。
- 鸟。
常用 Softmax + Cross Entropy。
多标签分类:
一个样本可以同时拥有多个标签。
例如一张图片可能同时包含:
- 人物。
- 汽车。
- 建筑。
通常对每个标签使用独立的 Sigmoid,再通过 BCE 计算损失。
因此:
| 任务 | 输出方式 | 常见损失 |
|---|---|---|
| 二分类 | 单个 Sigmoid | BCE |
| 互斥多分类 | Softmax | Cross Entropy |
| 多标签分类 | 多个独立 Sigmoid | BCE |
六、交叉熵、负对数似然与概率建模
交叉熵是深度学习中非常重要的损失函数。
理解交叉熵,需要进一步理解概率分布与最大似然估计。
6.1 什么是交叉熵?
信息论中,交叉熵(Cross Entropy)用于衡量两个概率分布之间的差异。
假设:
- 真实分布为 P。
- 模型预测分布为 Q。
交叉熵定义为:
其中:
- P(x):真实分布在事件 x 上的概率。
- Q(x):模型预测的概率。
当真实分布是确定性分布时,交叉熵可以简化为真实类别对应预测概率的负对数。
6.2 交叉熵与 KL 散度
KL 散度(Kullback-Leibler Divergence)用于衡量两个概率分布之间的信息差异:
它与交叉熵之间存在关系:
其中 H(P) 是真实分布自身的熵。
当真实分布 P 固定时,H(P) 不随模型参数变化。
因此:
也就是说,在真实分布固定的条件下,最小化交叉熵等价于最小化模型分布与真实分布之间的 KL 散度。
需要注意:KL 散度通常不对称,因此不能直接视为普通意义上的距离。
6.3 交叉熵与最大似然估计
假设模型对样本 x_i 的真实标签 y_i 给出概率:
在独立同分布样本假设下,整个数据集的似然函数为:
最大似然估计(Maximum Likelihood Estimation,MLE)希望找到使似然最大的参数:
为了方便计算,通常对似然取对数:
最大化对数似然等价于最小化负对数似然:
这正是分类任务中交叉熵损失的重要来源。
因此,交叉熵并不是一个随意设计的误差公式,而是具有明确概率统计基础的优化目标。
七、损失函数如何影响模型参数优化?
损失函数定义了优化目标,但模型参数如何调整,还需要依靠梯度计算与优化算法。
7.1 损失函数与模型参数的关系
假设模型预测:
损失函数:
损失不仅取决于预测结果,还间接取决于模型参数。
改变参数 \theta,模型预测结果会发生变化,最终损失也会发生变化。
因此,训练过程的核心就是寻找合适的参数组合,使损失尽可能降低。
7.2 梯度是什么?
梯度表示多变量函数在各个参数方向上的偏导数集合。
对于参数向量:
损失函数的梯度为:
梯度描述了损失函数对各个参数变化的敏感程度。
在可微条件下,负梯度方向是局部下降最快的方向。
7.3 梯度下降
最基础的参数优化方法是梯度下降(Gradient Descent)。
更新公式:
其中:
- \theta_t:当前参数。
- \eta:学习率。
- \nabla_\theta L:当前参数处的损失梯度。
学习率决定每次参数更新的步长。
学习率过大,可能导致优化过程震荡甚至发散。
学习率过小,则可能导致训练速度缓慢。
7.4 从损失到参数更新的完整流程
flowchart TB
A["输入训练数据"]
B["模型前向传播"]
C["得到预测结果"]
D["损失函数计算误差"]
E["计算损失梯度"]
F["反向传播计算参数梯度"]
G["优化器更新参数"]
H["进入下一轮训练"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> B
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
这里需要区分:
- 损失函数:定义优化目标。
- 自动微分与反向传播:计算梯度。
- 优化器:根据梯度更新参数。
三者共同构成模型参数优化的核心机制。
八、正则化:为什么不能只追求训练损失最小?
模型训练的目标不应该只是让训练集损失尽可能小。
如果模型过度适应训练数据,可能在训练集上表现很好,但在新数据上表现较差。
这种现象称为过拟合(Overfitting)。
正则化(Regularization)是控制模型复杂度、改善泛化能力的重要方法。
8.1 L1 正则化
L1 正则化通常定义为参数绝对值之和:
对应优化目标:
特点:
- 倾向于产生稀疏参数。
- 可以使部分参数变为零。
- 常用于特征选择和稀疏建模。
8.2 L2 正则化
L2 正则化通常定义为参数平方和:
对应优化目标:
特点:
- 惩罚较大的参数。
- 倾向于使参数整体变小。
- 通常不会像 L1 一样直接产生大量严格为零的参数。
在神经网络训练中,L2 正则化与权重衰减(Weight Decay)密切相关。