线性回归(Linear Regression)和逻辑回归(Logistic Regression)是机器学习中最基础、最经典的两类监督学习算法。
两者名称相似,都以线性函数作为核心建模基础,也都可以通过优化损失函数学习模型参数。但它们解决的问题、输出形式、数学原理和优化目标存在明显区别。
- 线性回归:主要解决回归问题,预测连续数值。
- 逻辑回归:主要解决分类问题,预测样本属于某个类别的概率。
理解这两种模型,不仅能够掌握传统机器学习的基本方法,还能进一步理解损失函数、参数估计、概率建模、梯度优化和分类决策等核心概念。
一、线性回归与逻辑回归的基本概念
1. 线性回归(Linear Regression)
线性回归是一种用于预测连续数值的监督学习算法。
它通过建立输入特征与目标变量之间的线性关系,利用已知样本学习模型参数,再根据输入特征预测目标值。
例如:
- 根据房屋面积预测房价。
- 根据广告投入预测销售额。
- 根据工作年限预测薪资。
- 根据温度、湿度预测能耗。
- 根据历史指标预测业务增长趋势。
线性回归的核心假设是:目标变量可以通过输入特征的线性组合进行近似表示。
对于单特征模型:
其中:
- x:输入特征。
- \hat{y}:模型预测值。
- w:权重,也称斜率。
- b:偏置,也称截距。
对于多特征模型:
模型通过训练数据学习各个特征对应的权重。
2. 逻辑回归(Logistic Regression)
逻辑回归是一种用于分类任务的监督学习算法。
它通过线性模型计算输入特征的组合结果,再使用 Sigmoid 函数将结果映射到 0 到 1 之间,作为样本属于某个类别的预测概率。
例如:
- 判断邮件是否为垃圾邮件。
- 判断用户是否会流失。
- 判断交易是否存在欺诈风险。
- 判断用户是否会点击广告。
- 判断某项业务是否能够转化。
逻辑回归的核心形式为:
其中:
- z:线性模型的输出。
- w:模型权重。
- x:输入特征向量。
- b:偏置。
- \sigma:Sigmoid 函数。
- P(y=1|x):样本属于正类的预测概率。
Sigmoid 函数定义为:
无论线性模型输出多大或多小,Sigmoid 都会将结果压缩到开区间 (0,1)。
3. 两者的核心区别
| 对比维度 | 线性回归 | 逻辑回归 |
|---|---|---|
| 英文名称 | Linear Regression | Logistic Regression |
| 学习类型 | 监督学习 | 监督学习 |
| 任务类型 | 回归 | 分类 |
| 主要输出 | 连续数值 | 类别概率 |
| 核心函数 | 线性函数 | 线性函数 + Sigmoid |
| 常见损失函数 | 均方误差 MSE | 交叉熵损失 |
| 常见优化方法 | 最小二乘、梯度下降 | 梯度下降及其变体 |
| 典型应用 | 房价预测、销量预测 | 垃圾邮件识别、流失预测 |
需要注意:
逻辑回归虽然名称中包含“回归”,但它解决的是分类问题。它的名称来自统计学中的 Logistic Regression 模型形式,而不是因为它直接预测连续数值。
二、线性回归的数学原理
1. 建立线性模型
假设有一个房价预测任务。
输入特征只有房屋面积:
预测目标为:
可以建立一个简单的线性模型:
例如:
这里假设:
- 房屋面积每增加一个单位,预测价格增加 2 个单位。
- 当面积为 0 时,模型预测价格为 50 个单位。
这只是一个示例模型,真实参数需要通过训练数据学习得到。
2. 多元线性回归
实际业务中,目标变量通常受到多个因素影响。
例如房价可能与以下因素有关:
- 房屋面积。
- 房间数量。
- 房龄。
- 距离市中心的距离。
- 周边配套设施。
此时可以建立多元线性回归模型:
用矩阵表示:
其中:
- X:输入特征矩阵。
- w:模型权重向量。
- b:偏置项。
- \hat{y}:预测结果向量。
如果将偏置项合并到权重中,可以将模型写成:
这里的 X 需要增加一列全为 1 的特征。
3. 线性回归的目标函数
模型预测结果与真实标签之间通常存在误差。
定义残差:
其中:
- y_i:真实值。
- \hat{y}_i:预测值。
- e_i:预测残差。
为了衡量整体预测误差,常用均方误差(Mean Squared Error,MSE):
MSE 的特点:
- 对误差进行平方,避免正负误差相互抵消。
- 较大的误差会受到更大的惩罚。
- 数值越小,通常代表模型在当前数据上的拟合误差越小。
线性回归的训练目标是:
也就是找到一组参数,使预测结果与真实值之间的均方误差最小。
4. 最小二乘法(Ordinary Least Squares)
最小二乘法是求解线性回归参数的一种经典方法。
它通过最小化残差平方和来估计模型参数:
矩阵形式:
在满足矩阵满列秩等条件时,最小二乘解可以写为:
这就是线性回归的正规方程(Normal Equation)。
需要注意:
- X^TX 必须可逆,才能直接使用上述逆矩阵形式。
- 当特征存在完全线性相关时,矩阵可能不可逆。
- 实际工程中通常使用 QR 分解、SVD 或数值稳定的线性代数求解方法,而不是显式计算矩阵逆。
- 当样本量和特征维度很大时,直接求解的计算成本可能较高。
5. 梯度下降求解
除了最小二乘法,也可以通过梯度下降优化线性回归模型。
定义损失函数:
其中:
对参数求偏导:
参数更新:
其中 \alpha 是学习率。
训练过程:
flowchart TB
A["初始化模型参数"] --> B["输入训练样本"]
B --> C["计算线性预测结果"]
C --> D["计算均方误差"]
D --> E["计算参数梯度"]
E --> F["梯度下降更新参数"]
F --> G{"是否满足停止条件"}
G -->|"否"| B
G -->|"是"| H["得到训练后的线性模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
线性回归的 MSE 损失函数对于模型参数是凸函数。在没有额外非凸约束的情况下,梯度下降可以朝全局最小值优化,但实际收敛速度仍然受到特征尺度、学习率和数据条件数等因素影响。
6. 线性回归的几何意义
从几何角度看:
- 单特征线性回归:拟合一条直线。
- 两个特征的线性回归:拟合一个平面。
- 多个特征的线性回归:拟合高维空间中的超平面。
模型试图找到一个超平面,使样本点到该超平面的残差平方和尽可能小。
这里需要区分:
最小二乘法最小化的是目标变量方向上的残差平方和,并不等同于最小化样本点到直线或超平面的垂直欧氏距离。
三、逻辑回归的数学原理
1. 为什么不能直接使用线性回归做分类?
假设需要判断一封邮件是否为垃圾邮件:
- 正常邮件:标签 0。
- 垃圾邮件:标签 1。
如果直接使用线性回归:
模型输出可能是:
- -2.3
- 0.4
- 1.7
- 5.2
这些结果不符合概率的取值范围。
概率必须满足:
因此,需要将线性模型输出转换为概率。
逻辑回归使用 Sigmoid 函数完成这个转换。
2. Sigmoid 函数
Sigmoid 函数:
其输出范围为:
Sigmoid 函数具有以下特点:
- 当 z=0 时,输出为 0.5。
- 当 z 趋向正无穷时,输出趋近于 1。
- 当 z 趋向负无穷时,输出趋近于 0。
- 函数连续且可导。
- 函数输出可以解释为正类的预测概率。
逻辑回归的预测过程:
其中:
对于二分类任务:
因此,模型输出的是两个类别对应的概率分布。
3. Logit:从概率到线性表达
逻辑回归不仅可以通过 Sigmoid 将线性输出转换为概率,还可以反过来理解概率与线性模型之间的关系。
定义优势比(Odds):
对优势比取自然对数:
逻辑回归的核心关系为:
这说明:
逻辑回归假设的是类别概率的对数优势比与输入特征之间存在线性关系,而不是直接假设概率与特征线性相关。
这也是逻辑回归名称和数学结构的关键所在。
4. 逻辑回归的决策边界
逻辑回归输出概率,但实际分类通常需要根据阈值将概率转换为类别。
假设阈值为 0.5:
因为:
所以:
决策边界就是:
在二维特征空间中,它是一条直线;在三维空间中,它是一个平面;在更高维空间中,它是一个超平面。
因此,标准逻辑回归的分类决策边界是线性的。
需要注意,模型输出概率和最终分类结果是两个不同概念:
- 概率是模型对类别可能性的估计。
- 阈值是将概率转换成类别的决策规则。
阈值可以根据业务需求调整,不一定必须使用 0.5。
5. 逻辑回归的损失函数:交叉熵
线性回归通常使用 MSE,但逻辑回归通常使用交叉熵损失(Cross-Entropy Loss)。
对于单个二分类样本:
其中:
- y\in\{0,1\}:真实标签。
- p:模型预测为正类的概率。
当真实标签为 1 时:
当真实标签为 0 时:
整个数据集的平均损失:
交叉熵损失的特点:
- 预测正确且概率较高时,损失较小。
- 预测错误且置信度很高时,损失会很大。
- 能够直接衡量预测概率分布与真实标签分布之间的差异。
- 与伯努利分布的最大似然估计具有直接联系。
6. 最大似然估计(Maximum Likelihood Estimation)
逻辑回归可以从概率统计角度理解为一个伯努利概率模型。
对于单个样本:
假设样本条件独立,整个数据集的似然函数为:
为了方便计算,对似然函数取对数:
最大化对数似然,等价于最小化负对数似然:
这就是逻辑回归常用交叉熵损失的概率统计基础。
7. 逻辑回归的梯度优化
逻辑回归通常使用梯度下降或其他数值优化算法学习参数。
定义:
对交叉熵损失求梯度:
参数更新:
逻辑回归的训练过程:
flowchart TB
A["初始化模型参数"] --> B["输入训练样本"]
B --> C["计算线性组合 z"]
C --> D["Sigmoid 转换为概率"]
D --> E["计算交叉熵损失"]
E --> F["计算参数梯度"]
F --> G["优化器更新参数"]
G --> H{"是否满足停止条件"}
H -->|"否"| B
H -->|"是"| I["得到训练后的逻辑回归模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
对于标准逻辑回归,使用交叉熵损失时,目标函数关于参数通常是凸函数,因此不存在由该目标函数本身产生的非全局局部最小值问题。
但在数据完全线性可分等特殊情况下,未加入正则化的逻辑回归可能不存在有限的最大似然参数解,优化过程中参数绝对值可能持续增大。
四、线性回归与逻辑回归的核心数学区别
两者都使用线性组合:
但后续处理方式不同。
1. 线性回归
直接将线性组合结果作为预测值:
输出没有固定范围,可以是任意实数。
2. 逻辑回归
先计算线性组合,再通过 Sigmoid 转换:
输出是正类概率,范围为 (0,1)。
3. 模型对比
| 对比项目 | 线性回归 | 逻辑回归 |
|---|---|---|
| 模型主体 | 线性函数 | 线性函数 |
| 输出变换 | 无 | Sigmoid |
| 输出含义 | 连续预测值 | 类别概率 |
| 优化目标 | 最小化平方误差 | 最大化似然或最小化交叉熵 |
| 常见任务 | 数值预测 | 分类 |
| 决策边界 | 不适用 | 线性超平面 |
| 参数解释 | 特征变化对预测值的影响 | 特征变化对对数优势比的影响 |
4. 为什么两者不能随意互换?
两者虽然具有相似的线性结构,但目标变量的统计假设不同。
线性回归通常用于连续目标变量,并以平方误差作为常见优化目标。
逻辑回归用于二分类,其输出对应伯努利分布的参数,使用交叉熵进行概率建模。
如果将逻辑回归用于房价预测,输出概率就无法直接表达房屋价格。
如果将线性回归直接用于垃圾邮件分类,预测值又可能超出概率范围。
模型的选择必须与目标变量类型和任务目标匹配。
五、正则化:防止模型过拟合
线性回归和逻辑回归都可能因为特征过多、特征相关性较强或数据量不足而出现过拟合。
正则化(Regularization)通过在损失函数中增加参数惩罚项,限制模型复杂度。
1. L1 正则化(Lasso)
L1 正则化:
特点:
- 可以将部分参数压缩到 0。
- 能够产生稀疏模型。
- 具有一定的特征选择作用。
- 当特征高度相关时,具体选择结果可能不稳定。
2. L2 正则化(Ridge)
L2 正则化:
特点:
- 惩罚较大的权重。
- 通常使参数向 0 收缩。
- 一般不会像 L1 那样直接产生大量精确为 0 的参数。
- 对多重共线性具有一定缓解作用。
3. 正则化强度
\lambda 控制正则化强度:
- \lambda 较小:参数约束较弱。
- \lambda 较大:参数约束较强。
如果正则化过强,模型可能欠拟合。
如果正则化过弱,模型可能过拟合。
正则化强度通常需要通过验证集或交叉验证进行选择。
4. Elastic Net
Elastic Net 同时结合 L1 和 L2 正则化:
它兼顾稀疏性和参数收缩,适合特征数量较多且特征之间存在相关性的场景。
注意:实际实现中,正则化项通常不惩罚偏置项;不同框架对损失函数和正则化系数的缩放约定可能不同。
六、模型参数的解释与特征影响
线性回归和逻辑回归不仅能够进行预测,还具有较强的可解释性。
但两者的参数解释方式不同。
1. 线性回归参数解释
模型: