返回专栏
· 24 分钟阅读

决策树、随机森林与集成学习:从树模型原理到主流集成算法


一、引言

决策树、随机森林与集成学习是传统机器学习中非常重要的一组技术。

它们广泛应用于金融风控、用户画像、推荐系统、营销预测、异常检测、工业质量分析等领域。即使深度学习已经成为人工智能的重要技术方向,基于决策树的集成模型仍然在结构化数据建模中占据重要地位。

其中:

  • 决策树(Decision Tree):通过一系列特征判断,将数据逐步划分为不同区域,最终得到预测结果。
  • 随机森林(Random Forest):通过训练多棵具有差异性的决策树,再对它们的预测结果进行组合,提高模型的稳定性和泛化能力。
  • 集成学习(Ensemble Learning):通过组合多个学习器,构建整体性能更强的模型。

三者之间存在明确的技术关系:

决策树是一种基础学习算法,随机森林是一种基于决策树的集成算法,而集成学习则是更广泛的机器学习方法体系。

本文从决策树的数学原理出发,逐步分析随机森林、Bagging、Boosting、Stacking 等集成方法,并进一步介绍 GBDT、XGBoost、LightGBM 和 CatBoost 等主流算法。


二、决策树的基本概念

2.1 什么是决策树?

决策树是一种基于树形结构进行预测的监督学习算法。

它通过对特征进行条件判断,将样本空间划分为多个区域,并在每个区域中生成预测结果。

例如,根据用户的年龄、收入和历史消费行为,判断用户是否可能购买某项产品。

flowchart TB
    A["用户是否有历史购买记录?"]
    B["历史消费金额是否较高?"]
    C["年龄是否大于30岁?"]
    D["预测:可能购买"]
    E["预测:不太可能购买"]
    F["预测:可能购买"]
    G["预测:不太可能购买"]

    A -->|"是"| B
    A -->|"否"| C
    B -->|"是"| D
    B -->|"否"| E
    C -->|"是"| F
    C -->|"否"| G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

决策树的核心思想是:

不断寻找能够有效区分样本的特征和切分条件,使划分后的数据具有更高的纯度,最终在叶节点上完成预测。

2.2 决策树的基本组成

一棵决策树通常由以下节点组成:

组成 说明
根节点(Root Node) 整棵树的起点,包含全部训练样本
内部节点(Internal Node) 根据某个特征执行条件判断
分支(Branch) 判断条件对应的路径
叶节点(Leaf Node) 输出最终预测结果
分裂(Split) 将当前节点的数据划分为多个子集

从算法角度看,决策树主要完成两项工作:

  1. 选择最合适的特征。
  2. 确定特征对应的切分条件。

这两个步骤决定了树的结构,也直接影响模型的预测能力。

2.3 决策树的分类与回归

根据预测目标,决策树可以分为两类。

分类决策树(Classification Tree)

用于预测离散类别。

例如:

  • 用户是否流失。
  • 邮件是否为垃圾邮件。
  • 交易是否存在欺诈。
  • 图片属于哪一种类别。

叶节点通常输出类别概率或类别标签。

回归决策树(Regression Tree)

用于预测连续数值。

例如:

  • 房屋价格。
  • 商品销量。
  • 用户未来消费金额。
  • 设备运行温度。

叶节点通常输出该区域训练样本目标值的均值,具体实现也可以采用其他统计量。

分类树和回归树的主要区别在于分裂评价指标以及叶节点的预测方式。


三、决策树如何选择分裂特征?

决策树训练的关键问题是:

当前节点应该选择哪个特征进行分裂?

假设一个节点中有 100 个样本,其中:

  • 60 个正样本。
  • 40 个负样本。

如果不进行任何划分,当前节点同时包含两种类别。

如果选择一个特征进行划分,得到两个子节点:

  • 子节点 A:50 个正样本,5 个负样本。
  • 子节点 B:10 个正样本,35 个负样本。

两个子节点的类别分布更加集中,说明这个特征具有较强的区分能力。

为了量化这种效果,需要引入不纯度指标。

3.1 信息熵(Entropy)

信息熵用于衡量数据集合的不确定性。

对于一个包含 K 个类别的数据集:

H(D)=-\sum_{k=1}^{K}p_k\log_2p_k

其中:

  • D:当前节点的数据集合。
  • K:类别数量。
  • p_k:第 k 类样本在当前节点中的比例。

对于二分类问题:

H(D)=-p\log_2p-(1-p)\log_2(1-p)

信息熵具有以下特点:

  • 当所有样本属于同一类别时,熵为 0。
  • 当不同类别的样本比例越接近时,熵越大。
  • 二分类且两类样本比例为 50% 时,熵达到最大值 1。

信息熵越小,说明节点中的类别分布越集中。

3.2 信息增益(Information Gain)

信息增益用于衡量一次特征分裂带来的不确定性下降程度。

假设使用特征 A 将数据集 D 划分为 D_1,D_2,\ldots,D_m。

信息增益定义为:

Gain(D,A)=H(D)-\sum_{i=1}^{m} \frac{|D_i|}{|D|}H(D_i)

其中:

  • H(D):分裂前的信息熵。
  • H(D_i):第 i 个子节点的信息熵。
  • \frac{|D_i|}{|D|}:子节点样本数量占比。

信息增益越大,表示特征分裂后整体不确定性下降越明显。

需要注意:信息增益存在偏向取值较多特征的问题。

例如,用户 ID 几乎每个样本都不同。如果按照用户 ID 分裂,可能让每个子节点只包含一个样本,从而得到很高的信息增益。

但这种划分通常没有实际预测价值,容易导致过拟合。

3.3 信息增益率(Gain Ratio)

信息增益率是 C4.5 决策树采用的重要指标。

它在信息增益的基础上,引入分裂信息(Split Information)进行归一化:

GainRatio(D,A)= \frac{Gain(D,A)}{SplitInfo(D,A)}

其中:

SplitInfo(D,A)= -\sum_{i=1}^{m} \frac{|D_i|}{|D|}\log_2 \frac{|D_i|}{|D|}

信息增益率可以缓解信息增益偏向取值较多特征的问题。

不过,信息增益率也可能偏向某些分裂信息较小的划分,因此 C4.5 通常结合信息增益进行候选特征筛选,而不是简单地无条件选择最高的信息增益率。

3.4 基尼指数(Gini Impurity)

基尼指数是 CART 分类树常用的不纯度指标。

其定义为:

Gini(D)=1-\sum_{k=1}^{K}p_k^2

对于二分类问题:

Gini(D)=1-p^2-(1-p)^2

也可以写为:

Gini(D)=2p(1-p)

基尼指数具有以下特点:

  • 所有样本属于同一类别时,基尼指数为 0。
  • 类别分布越均匀,基尼指数越大。
  • 二分类且两类比例为 50% 时,基尼指数达到最大值 0.5。

CART 分类树通常选择能够使加权子节点基尼指数下降最多的分裂方式。

分裂后的加权基尼指数:

Gini_{split}= \sum_{i=1}^{m} \frac{|D_i|}{|D|}Gini(D_i)

基尼指数下降量:

\Delta Gini=Gini(D)-Gini_{split}

下降量越大,分裂效果越好。

3.5 分类树分裂指标对比

指标 典型算法 核心思想
信息增益 ID3 最大化熵的下降
信息增益率 C4.5 对信息增益进行归一化
基尼指数 CART 最小化分裂后的加权基尼指数

需要注意:

这些指标衡量的是节点的不纯度或不确定性,并不是模型整体准确率。

决策树训练时通常采用局部贪心策略:每次选择当前节点上最优的分裂,而不是穷举所有可能的完整树结构。


四、CART 决策树的分裂机制

CART(Classification and Regression Tree)是应用非常广泛的决策树算法。

它同时支持分类和回归任务。

CART 有两个重要特点:

  1. 采用二叉树结构,每次分裂产生两个子节点。
  2. 分类任务通常使用基尼指数,回归任务通常使用平方误差等指标。

4.1 连续特征如何分裂?

对于连续特征,决策树通常需要寻找一个切分阈值。

例如,特征是用户年龄:

Age=\{18,22,25,31,35,42,48\}

算法会考虑一系列候选阈值,将样本划分为:

Age\leq t

和:

Age>t

假设候选阈值为 30,则:

  • 左子节点:年龄小于或等于 30。
  • 右子节点:年龄大于 30。

算法计算不同候选阈值对应的分裂效果,选择使目标不纯度下降最多的阈值。

实际实现中,候选切分点通常来自排序后相邻不同特征值之间的中点,不需要枚举任意实数。

4.2 回归树如何分裂?

回归树没有类别纯度的概念,通常使用平方误差衡量节点内部目标值的离散程度。

对于节点 D,其均值为:

\bar{y}=\frac{1}{|D|}\sum_{i\in D}y_i

节点平方误差:

SSE(D)=\sum_{i\in D}(y_i-\bar{y})^2

对于一次分裂:

SSE_{split}=SSE(D_L)+SSE(D_R)

算法选择使分裂后平方误差下降最多的特征和阈值。

回归树叶节点的预测值通常是该叶节点训练样本目标值的均值。

这意味着回归树将特征空间划分为多个区域,每个区域输出一个相对固定的数值。

4.3 决策树训练流程

flowchart TB
    A["输入训练数据"]
    B["创建根节点"]
    C["计算候选特征和切分条件"]
    D["选择最优分裂"]
    E["生成左右子节点"]
    F{"是否满足停止条件?"}
    G["继续递归分裂"]
    H["生成叶节点"]
    I["得到训练完成的决策树"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F -->|"否"| G
    G --> C
    F -->|"是"| H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

4.4 决策树的停止条件

如果决策树一直分裂,理论上可能将训练数据划分得非常细,甚至让每个叶节点只包含一个训练样本。

这种树通常具有很强的训练集拟合能力,但泛化能力可能很差。

因此,需要通过停止条件控制树的复杂度。

常见参数包括:

参数 作用
max_depth 限制树的最大深度
min_samples_split 节点至少包含多少样本才允许继续分裂
min_samples_leaf 叶节点至少包含多少样本
max_leaf_nodes 限制叶节点数量
min_impurity_decrease 限制分裂所需的最小不纯度下降量
ccp_alpha 控制代价复杂度剪枝强度

这些参数本质上都是在控制模型复杂度。

4.5 预剪枝与后剪枝

决策树控制复杂度主要有两种方式。

预剪枝(Pre-pruning)

在训练过程中提前限制树的生长。

例如:

  • 限制最大深度。
  • 限制最小分裂样本数。
  • 限制最小叶节点样本数。
  • 限制最小不纯度下降量。

优点是训练效率较高。

缺点是过早停止可能导致欠拟合。

后剪枝(Post-pruning)

先生成一棵较大的树,再删除对泛化能力贡献较小的分支。

CART 常见的后剪枝方法是代价复杂度剪枝(Cost-Complexity Pruning)。

其目标函数可以写为:

R_\alpha(T)=R(T)+\alpha|T|

其中:

  • T:当前决策树。
  • R(T):树的经验预测误差。
  • |T|:叶节点数量。
  • \alpha:复杂度惩罚系数。

\alpha 越大,模型越倾向于保留简单的树结构。

后剪枝通常通过验证集或交叉验证选择合适的复杂度参数。


五、决策树的优缺点

5.1 优点

  1. 可解释性较强

可以通过特征判断路径解释预测过程,适合需要业务解释的场景。

  1. 支持非线性关系

可以通过多次特征切分构建复杂的非线性决策边界。

  1. 不需要强制进行特征标准化

树模型主要依据特征排序和阈值进行分裂,对特征量纲通常不敏感。

  1. 支持分类和回归

同一种树结构可以应用于不同类型的监督学习任务。

  1. 能够处理特征之间的交互

不同层级的分裂条件可以组合形成复杂规则。

5.2 缺点

  1. 容易过拟合

树过深时容易学习训练数据中的噪声。

  1. 对数据变化较敏感

训练样本发生小幅变化,可能导致分裂特征和树结构明显改变。

  1. 贪心算法不保证全局最优

每次局部最优分裂,不代表最终得到全局最优的树结构。

  1. 预测结果可能不够平滑

回归树通常输出分段常数,难以自然表达连续变化趋势。

  1. 单棵树的预测能力存在局限

在复杂任务中,单棵决策树的泛化能力往往不如经过合理集成的树模型。

决策树最突出的问题之一是模型方差较高。

这也是随机森林等集成方法能够发挥作用的重要原因。


六、集成学习的基本思想

6.1 什么是集成学习?

集成学习(Ensemble Learning)是一种通过组合多个学习器,提升整体预测性能的机器学习方法。

其核心思想是:

让多个具有一定差异性的模型共同完成预测,利用模型之间的互补性降低整体误差。

例如,使用 100 棵决策树预测用户是否流失。

如果其中一部分树预测用户会流失,另一部分树预测用户不会流失,可以通过投票方式得到最终结果。

对于回归任务,可以对多个模型的预测值求平均。

集成学习并不要求所有基础模型都必须是决策树,也可以组合线性模型、神经网络、支持向量机等不同类型的学习器。

6.2 集成学习的基本结构

flowchart TB
    A["训练数据"]
    B["基础模型 1"]
    C["基础模型 2"]
    D["基础模型 3"]
    E["基础模型 N"]
    F["预测结果组合"]
    G["最终预测结果"]

    A --> B
    A --> C
    A --> D
    A --> E

    B --> F
    C --> F
    D --> F
    E --> F

    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

6.3 集成学习为什么有效?

集成学习的效果与基础模型之间的差异性密切相关。

如果多个模型完全相同,而且预测结果也完全一致,那么组合它们并不会带来明显收益。

如果模型具有一定差异性,并且各自的错误不完全重合,那么组合后就有机会抵消部分预测误差。

以回归任务为例,假设有 M 个模型,其预测误差分别为:

\epsilon_1,\epsilon_2,\ldots,\epsilon_M

简单平均后的误差为:

\bar{\epsilon}=\frac{1}{M}\sum_{i=1}^{M}\epsilon_i

如果每个模型误差的方差都是 \sigma^2,且任意两个模型误差之间的相关系数为 \rho,则平均误差的方差为:

Var(\bar{\epsilon})= \sigma^2\left( \rho+\frac{1-\rho}{M} \right)

这个公式揭示了集成学习的重要规律:

  • 模型数量增加,可以降低误差中的非相关部分。
  • 模型之间的相关性越低,集成效果通常越好。
  • 如果模型之间高度相关,增加模型数量的收益会逐渐减小。

因此,集成学习不仅需要多个模型,更需要模型之间具有合理的差异性。


七、Bagging:通过并行训练降低模型方差

7.1 什么是 Bagging?

Bagging 是 Bootstrap Aggregating 的缩写,是一种典型的集成学习方法。

其核心思想是:

  1. 从原始训练集中进行多次有放回随机采样。
  2. 使用不同采样结果训练多个基础模型。
  3. 将多个模型的预测结果进行组合。

Bagging 通常采用并行训练方式,各个基础模型之间相互独立。

7.2 Bootstrap 自助采样

假设原始训练集包含 N 个样本。

Bootstrap 采样每次从原始数据中有放回地抽取 N 次,形成一个新的训练集。

由于采用有放回采样:

  • 同一个样本可能被重复抽中。
  • 部分样本可能一次都没有被抽中。
  • 不同模型得到的训练集通常存在差异。

一个重要的统计结论是:

当从 N 个样本中有放回地抽取 N 次时,单个样本没有被抽中的概率为:

P=\left(1-\frac{1}{N}\right)^N

当 N 足够大时:

P\approx e^{-1}\approx 36.8\%

也就是说,每次 Bootstrap 采样中,平均约有 36.8% 的原始训练样本不会被抽中。

这些未被抽中的样本称为袋外样本(Out-of-Bag Samples)。

7.3 Bagging 的训练流程

flowchart TB
    A["原始训练集"]
    B["Bootstrap 采样 1"]
    C["Bootstrap 采样 2"]
    D["Bootstrap 采样 N"]
    E["训练模型 1"]
    F["训练模型 2"]
    G["训练模型 N"]
    H["组合预测结果"]
    I["最终模型预测"]

    A --> B
    A --> C
    A --> D

    B --> E
    C --> F
    D --> G

    E --> H
    F --> H
    G --> H

    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

7.4 Bagging 如何组合预测?

对于分类任务,通常使用多数投票:

\hat{y}=\operatorname{mode} \{h_1(x),h_2(x),\ldots,h_M(x)\}

对于回归任务,通常使用预测值平均:

\hat{y}=\frac{1}{M}\sum_{i=1}^{M}h_i(x)

其中 h_i(x) 表示第 i 个模型对输入 x 的预测结果。

Bagging 的主要作用是降低模型方差,尤其适合对训练数据变化比较敏感的学习器,例如未充分限制复杂度的决策树。


八、随机森林:Bagging 与随机特征选择的结合

8.1 什么是随机森林?

随机森林(Random Forest)是一种以决策树为基础学习器的集成算法。

它结合了两种随机机制:

  1. 对训练样本进行 Bootstrap 随机采样。
  2. 在每个节点分裂时,只从随机选择的部分特征中寻找最优分裂。

第一种机制让不同决策树使用不同的训练样本。

第二种机制进一步降低树与树之间的相关性。

因此,随机森林可以看作 Bagging 思想与随机特征选择机制的结合。

8.2 随机森林的训练过程

假设训练数据有 100 个特征,需要训练 200 棵决策树。

随机森林的基本流程如下:

  1. 从原始训练集中进行 Bootstrap 采样。
  2. 使用采样后的数据训练一棵决策树。
  3. 在每个节点分裂时,随机选择一部分特征作为候选集合。
  4. 从候选特征中选择最优分裂。
  5. 持续生长决策树,直到满足停止条件。
  6. 重复以上过程,训练多棵决策树。
  7. 对所有树的预测结果进行投票或平均。
flowchart TB
    A["原始训练数据"]
    B["Bootstrap 随机采样"]
    C["随机选择候选特征"]
    D["选择最优分裂条件"]
    E["构建决策树"]
    F{"是否完成全部树的训练?"}
    G["继续训练下一棵树"]
    H["组合所有决策树预测"]
    I["输出最终结果"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F -->|"否"| G
    G --> B
    F -->|"是"| H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

8.3 为什么需要随机选择特征?

假设一个数据集中,存在一个非常强的特征 A。

如果每棵决策树在每次分裂时都可以使用全部特征,那么很多树可能优先选择 A。

这会导致不同树的结构高度相似。

即使使用不同的 Bootstrap 样本,模型之间仍然可能具有较高的相关性。

随机森林通过限制每次分裂时的候选特征数量,增加不同树的结构差异。

这有助于降低模型之间的相关性,使集成预测更加稳定。

8.4 随机森林的关键超参数

参数 作用
n_estimators 决策树的数量
max_depth 每棵树的最大深度
max_features 每次分裂时考虑的特征数量或比例
min_samples_split 节点继续分裂所需的最小样本数
min_samples_leaf 叶节点最少样本数
bootstrap 是否使用 Bootstrap 采样
max_samples 每棵树采样的样本数量或比例
class_weight 分类任务中的类别权重

其中,n_estimators 和 max_features 是理解随机森林时尤其重要的两个参数。

一般来说:

  • 增加树的数量,可以降低集成预测的随机波动,但计算成本也会增加。
  • 减少每次分裂可选的特征数量,通常可以降低树之间的相关性,但单棵树的拟合能力也可能下降。
  • 树过浅可能欠拟合,树过深则可能增加计算开销和单树方差。

实际参数应通过验证集或交叉验证确定。

8.5 袋外误差(OOB Error)

随机森林具有一个实用特性:袋外样本可以用于估计模型的泛化误差。

对于某个训练样本,如果它没有进入某棵树的 Bootstrap 训练集,那么这棵树就可以将其视为袋外样本。

通过收集所有没有使用该样本训练的树的预测结果,可以得到该样本的袋外预测。

再将全部训练样本的袋外预测与真实标签比较,就可以估计 OOB 误差。

优点:

  • 不需要额外划分一份验证集。
  • 可以辅助评估随机森林的泛化能力。
  • 可以观察增加树数量后模型误差的变化。

需要注意:

OOB 评估不是独立测试集评估。如果训练数据存在时间、分组或数据泄漏问题,OOB 也无法自动解决这些问题。

8.6 特征重要性

随机森林可以计算特征重要性,用于分析哪些特征对模型预测贡献较大。

常见方法有两种。

1. 基于不纯度下降的特征重要性

也称为 Mean Decrease in Impurity(MDI)。

统计某个特征在所有树的分裂中带来的不纯度下降,再进行汇总和归一化。

优点:

  • 计算效率较高。
  • 可以直接从模型中获得。

缺点:

  • 可能偏向取值较多的特征。
  • 可能偏向连续特征。
  • 在相关特征之间,重要性可能被分散或重新分配。

2. 基于置换的特征重要性

也称为 Permutation Importance。

基本过程:

  1. 先计算模型在验证数据上的基准评价指标。
  2. 随机打乱某一个特征的取值。
  3. 重新计算模型评价指标。
  4. 比较打乱前后的性能下降程度。

如果打乱某个特征后模型性能明显下降,说明模型对该特征具有较强依赖。

置换重要性比单纯统计分裂贡献更接近模型在指定评价数据上的实际预测依赖,但它仍然不是因果解释。

当多个特征高度相关时,单独打乱其中一个特征可能无法充分反映它们的联合信息。

8.7 随机森林的优缺点

优点:

  • 相比单棵决策树,通常具有更好的稳定性。
  • 能够学习复杂的非线性关系。
  • 能够建模特征之间的交互。
  • 对特征缩放通常不敏感。
  • 支持分类和回归。
  • 可以通过 OOB 估计误差。
  • 能够提供特征重要性分析。

缺点:

  • 模型体积通常大于单棵决策树。
  • 推理时需要执行多棵树,计算开销较高。
  • 整体可解释性不如单棵决策树。
  • 对高维稀疏特征和某些复杂结构化任务,可能不如专门优化的 Boosting 算法。
  • 对数据分布之外的数值进行外推通常能力有限。

九、Boosting:通过逐步学习降低模型误差

9.1 什么是 Boosting?

Boosting 是另一种重要的集成学习思想。

与 Bagging 并行训练多个独立模型不同,Boosting 通常按照顺序训练多个弱学习器。

后续学习器会根据当前集成模型的不足继续优化,使整体模型逐步提升。

它的基本思想是:

通过多个阶段的学习,让后续模型重点改善当前模型尚未解决的问题。

典型 Boosting 算法包括:

  • AdaBoost
  • Gradient Boosting Decision Tree(GBDT)
  • XGBoost
  • LightGBM
  • CatBoost

9.2 Boosting 的基本训练过程

flowchart TB
    A["输入训练数据"]
    B["训练初始模型"]
    C["计算当前模型的误差"]
    D["训练新的弱学习器"]
    E["更新集成模型"]
    F{"是否满足停止条件?"}
    G["继续下一轮训练"]
    H["输出最终集成模型"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F -->|"否"| G
    G --> C
    F -->|"是"| H

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Boosting 通常通过多个学习器的加权组合得到最终预测:

F_M(x)=\sum_{m=1}^{M}\alpha_m h_m(x)

其中:

  • h_m(x):第 m 个基础学习器。
  • \alpha_m:该学习器对应的权重。
  • M:学习器数量。

具体组合形式取决于 Boosting 算法。

9.3 AdaBoost

AdaBoost(Adaptive Boosting)是一种经典 Boosting 算法。

其主要思想是:

不断调整训练样本的权重,使后续学习器更加关注之前分类错误的样本。

假设训练数据为:

D=\{(x_1,y_1),\ldots,(x_N,y_N)\}

初始时,每个样本具有相同权重:

w_i=\frac{1}{N}

训练一个弱分类器后,根据其预测结果调整样本权重。

分类错误的样本会获得更高的权重,使下一轮学习器更加关注这些样本。

第 m 轮分类器的加权错误率:

\epsilon_m= \frac{ \sum_{i=1}^{N}w_i I(y_i\neq h_m(x_i)) }{ \sum_{i=1}^{N}w_i }

分类器权重:

\alpha_m= \frac{1}{2} \ln\frac{1-\epsilon_m}{\epsilon_m}

对于二分类任务,若标签采用 \{-1,+1\},样本权重可以按照以下方式更新:

w_i\leftarrow w_i\exp(-\alpha_m y_i h_m(x_i))

随后对权重进行归一化。

这样,分类错误的样本权重会增加,分类正确的样本权重会降低。

AdaBoost 最终通过多个弱分类器的加权投票得到预测结果。

9.4 Gradient Boosting:梯度提升

Gradient Boosting 是一种更一般化的 Boosting 思想。

它将模型训练过程视为一个函数空间中的逐步优化过程。

假设模型的预测函数为:

F(x)

目标是最小化经验损失:

L=\sum_{i=1}^{N}l(y_i,F(x_i))

Gradient Boosting 每一轮都会计算当前模型在训练样本上的负梯度:

r_{im}= -\left[ \frac{\partial l(y_i,F(x_i))} {\partial F(x_i)} \right]_{F=F_{m-1}}

这里的 r_{im} 可以理解为当前模型在第 i 个样本上的优化方向。

随后训练一个新的弱学习器,拟合这些负梯度,再将新学习器加入现有模型。

模型更新可以抽象为:

F_m(x)=F_{m-1}(x)+\eta h_m(x)

其中:

  • F_{m-1}(x):上一轮模型。
  • h_m(x):本轮学习器。
  • \eta:学习率。

学习率用于控制每一轮模型更新的幅度。

关键理解:Gradient Boosting 本质上是在函数空间中沿着损失函数的负梯度方向逐步优化模型。

它并不是简单地把前一轮预测错误的样本权重调高,而是根据损失函数的梯度构造新的学习目标。

对于平方误差损失,负梯度与残差具有直接关系:

r_i=y_i-F(x_i)

因此,在平方误差回归任务中,GBDT 可以理解为不断拟合当前模型的残差。