返回专栏
· 17 分钟阅读

什么是机器学习?从基本原理到主流算法全面理解


一、什么是机器学习?

机器学习(Machine Learning,简称 ML)是人工智能(Artificial Intelligence,AI)的重要分支。

它研究如何让计算机从数据中学习规律,并利用学习到的规律完成预测、分类、决策等任务,而不是完全依赖人工编写的固定规则。

传统编程通常由开发者明确编写处理逻辑:

  • 输入数据。
  • 执行预先定义的规则。
  • 输出计算结果。

机器学习则采用不同的思路:

  • 提供训练数据。
  • 设计模型和学习算法。
  • 通过训练自动调整模型参数。
  • 让模型学习数据中的统计规律。
  • 利用训练后的模型处理新数据。

两者最核心的区别在于:传统编程主要由人编写规则,机器学习则通过数据和算法学习规则。

1.1 一个简单的例子:垃圾邮件识别

假设需要开发一个垃圾邮件识别系统。

传统编程可能采用人工规则:

  • 邮件标题包含「免费领取」,标记为垃圾邮件。
  • 邮件正文包含大量广告链接,标记为垃圾邮件。
  • 发件人来自黑名单,标记为垃圾邮件。

这种方式存在明显局限:

  • 规则需要人工维护。
  • 新型垃圾邮件可能绕过已有规则。
  • 规则之间可能相互冲突。
  • 难以覆盖复杂的语言表达和行为模式。

使用机器学习,可以收集大量已经标注的邮件数据:

  • 正常邮件。
  • 垃圾邮件。

模型通过训练学习邮件内容、发件人特征、链接特征与类别之间的关系。

训练完成后,输入一封新邮件,模型便可以预测它属于正常邮件还是垃圾邮件。

1.2 机器学习的基本过程

flowchart TB
    A["收集训练数据"] --> B["数据预处理"]
    B --> C["选择模型与算法"]
    C --> D["模型训练"]
    D --> E["学习模型参数"]
    E --> F["模型评估"]
    F --> G{"效果是否满足要求"}
    G -->|"否"| H["调整模型或训练策略"]
    H --> D
    G -->|"是"| I["部署模型"]
    I --> J["输入新数据"]
    J --> K["模型预测"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49

二、机器学习的核心组成

机器学习不是单独的一个算法,而是一套由数据、模型、目标函数和优化算法共同构成的技术体系。

2.1 数据(Data)

数据是机器学习的基础。

模型通过数据学习规律,数据质量直接影响模型的训练效果和泛化能力。

常见数据类型:

数据类型 示例
数值数据 年龄、价格、温度、销量
类别数据 性别、商品类别、地区
文本数据 评论、邮件、新闻
图像数据 人脸、商品图片、医学影像
音频数据 语音、音乐、环境声音
时间序列 股票价格、传感器数据、流量指标

在机器学习中,通常需要将原始数据转换为模型能够处理的特征表示。

例如,预测房价时,可以使用:

  • 房屋面积。
  • 房间数量。
  • 建筑年代。
  • 地理位置。
  • 周边配套。

这些信息可以作为模型的输入特征。

2.2 特征(Feature)

特征是用于描述样本属性的信息。

假设有一个房价预测任务:

X=[x_1,x_2,x_3,x_4]

其中:

  • x_1:房屋面积。
  • x_2:房间数量。
  • x_3:建筑年代。
  • x_4:距离地铁的距离。

模型根据这些特征预测房价:

\hat{y}=f(X;\theta)

其中:

  • X:输入特征。
  • \theta:模型参数。
  • \hat{y}:模型预测结果。

传统机器学习通常需要较多人工特征工程,而深度学习能够通过多层网络自动学习更复杂的特征表示。

但这并不意味着深度学习完全不需要数据处理和特征设计。

2.3 模型(Model)

模型是对数据规律进行数学表达的计算结构。

例如线性回归模型:

\hat{y}=wx+b

其中:

  • x:输入。
  • w:权重。
  • b:偏置。
  • \hat{y}:预测结果。

模型参数决定了模型具体如何处理输入数据。

不同机器学习算法具有不同的模型结构和学习机制。

常见模型包括:

  • 线性回归。
  • 逻辑回归。
  • 决策树。
  • 随机森林。
  • 支持向量机。
  • K-Means。
  • 神经网络。

2.4 损失函数(Loss Function)

损失函数用于衡量模型预测结果与真实结果之间的差异。

例如,回归任务中常用均方误差:

L(\theta)=\frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i-y_i)^2

其中:

  • N:样本数量。
  • \hat{y}_i:模型预测值。
  • y_i:真实值。

模型训练的一个核心目标,就是寻找合适的参数,使损失函数尽可能小:

\theta^*=\arg\min_{\theta}L(\theta)

2.5 优化算法(Optimization Algorithm)

优化算法负责根据损失函数的变化情况调整模型参数。

常见算法:

  • 梯度下降(Gradient Descent)。
  • 随机梯度下降(SGD)。
  • Momentum。
  • RMSProp。
  • Adam。

以梯度下降为例:

\theta_{t+1} = \theta_t-\eta\nabla L(\theta_t)

其中:

  • \theta_t:当前模型参数。
  • \eta:学习率。
  • \nabla L(\theta_t):损失函数关于参数的梯度。

优化算法利用梯度信息,逐步调整模型参数,使模型在训练数据上的损失下降。


三、机器学习是如何工作的?

从技术原理上看,机器学习训练过程可以分为数据准备、模型构建、模型训练、模型评估和模型推理几个阶段。

3.1 数据准备

首先收集与目标任务相关的数据。

例如,构建房价预测模型,需要收集:

  • 房屋面积。
  • 房屋位置。
  • 房间数量。
  • 房龄。
  • 历史成交价格。

原始数据通常需要经过处理:

数据处理 作用
数据清洗 处理错误数据和重复数据
缺失值处理 补全或删除缺失记录
异常值处理 识别明显异常的数据
特征编码 将类别信息转换为数值表示
特征缩放 调整不同特征的数值范围
特征选择 保留与目标任务相关的特征

数据预处理的目标,是提高数据质量,使模型能够有效学习。

3.2 模型训练

模型训练的核心是利用训练数据调整参数。

以监督学习为例,训练数据通常包含输入和对应的目标值:

D=\{(x_i,y_i)\}_{i=1}^{N}

模型根据输入 x_i 计算预测结果:

\hat{y}_i=f(x_i;\theta)

再根据预测值与真实值计算损失:

L(\theta)=\frac{1}{N}\sum_{i=1}^{N} \ell(f(x_i;\theta),y_i)

通过优化算法不断更新参数。

3.3 前向传播与反向传播

对于神经网络,训练过程通常包含两个核心计算阶段。

前向传播(Forward Propagation)

数据从输入层进入网络,经过多个计算层,最终得到预测结果。

反向传播(Backpropagation)

根据损失函数,使用链式法则计算各层参数的梯度。

flowchart TB
    A["输入训练数据"] --> B["前向传播"]
    B --> C["得到模型预测"]
    C --> D["计算损失函数"]
    D --> E["反向传播"]
    E --> F["计算参数梯度"]
    F --> G["优化器更新参数"]
    G --> H{"是否继续训练"}
    H -->|"是"| B
    H -->|"否"| I["得到训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意:

  • 前向传播负责计算预测结果。
  • 反向传播负责计算梯度。
  • 优化器负责更新参数。

这三个概念相互关联,但并不是同一件事。

3.4 模型评估

模型训练完成后,需要判断其在未参与训练的数据上是否具有良好的预测能力。

通常将数据划分为:

数据集 作用
训练集(Training Set) 用于模型参数学习
验证集(Validation Set) 用于模型选择和超参数调整
测试集(Test Set) 用于最终性能评估

常见评估指标:

任务类型 评估指标
分类 Accuracy、Precision、Recall、F1、AUC
回归 MAE、MSE、RMSE、R²
聚类 Silhouette Score、Davies-Bouldin Index
排序 NDCG、MAP、MRR

不同任务需要选择合适的指标,不能仅凭准确率判断模型质量。

3.5 模型推理

模型训练完成后,可以用于处理新的输入数据。

这个阶段称为推理(Inference)。

例如:

  • 输入一封邮件,预测是否为垃圾邮件。
  • 输入一张图片,识别图片中的物体。
  • 输入用户行为,预测用户可能购买的商品。
  • 输入房屋特征,预测房屋价格。

训练和推理的区别:

对比项 训练(Training) 推理(Inference)
主要目标 学习模型参数 使用已训练参数
是否更新参数 通常会 通常不会
是否需要损失反向传播 训练时需要 一般不需要
主要计算 前向传播、反向传播、参数更新 前向计算
资源需求 通常较高 取决于模型规模和部署方式

四、机器学习的三种主要学习范式

按照训练数据和反馈信号的不同,机器学习通常分为三大类:

  1. 监督学习(Supervised Learning)。
  2. 无监督学习(Unsupervised Learning)。
  3. 强化学习(Reinforcement Learning)。

此外,还有半监督学习、自监督学习等重要范式。

4.1 监督学习(Supervised Learning)

监督学习使用带有标签的数据训练模型。

每条训练数据通常包含:

(x_i,y_i)

其中:

  • x_i:输入特征。
  • y_i:对应的真实标签或目标值。

模型学习输入与目标之间的映射关系:

f(x)\approx y

监督学习主要包含两类任务。

分类(Classification)

预测样本属于哪个类别。

例如:

  • 垃圾邮件识别。
  • 图像分类。
  • 用户流失预测。
  • 欺诈交易识别。

回归(Regression)

预测一个连续数值。

例如:

  • 房价预测。
  • 销量预测。
  • 温度预测。
  • 设备寿命预测。

常见监督学习算法:

  • 线性回归。
  • 逻辑回归。
  • 决策树。
  • 随机森林。
  • 支持向量机。
  • K 近邻。
  • XGBoost。
  • 神经网络。

4.2 无监督学习(Unsupervised Learning)

无监督学习使用没有明确目标标签的数据,让模型从数据中发现结构、分布或潜在关系。

其核心目标不是直接预测已知标签,而是挖掘数据本身的规律。

常见任务包括:

聚类(Clustering)

将相似的数据样本划分到同一组。

例如:

  • 用户分群。
  • 商品分类。
  • 客户行为分析。
  • 异常群体发现。

降维(Dimensionality Reduction)

将高维数据映射到低维空间,尽可能保留重要信息。

例如:

  • PCA 主成分分析。
  • t-SNE。
  • UMAP。

异常检测(Anomaly Detection)

识别与大多数正常样本明显不同的数据。

例如:

  • 金融欺诈检测。
  • 网络入侵检测。
  • 工业设备异常监控。

常见无监督学习算法:

  • K-Means。
  • DBSCAN。
  • 层次聚类。
  • PCA。
  • 高斯混合模型(GMM)。
  • 自编码器(Autoencoder)。

4.3 强化学习(Reinforcement Learning)

强化学习研究智能体如何通过与环境交互,学习能够获得长期收益的行为策略。

核心组成:

概念 含义
Agent 智能体,负责选择行动
Environment 智能体交互的环境
State 当前状态
Action 智能体采取的动作
Reward 环境反馈的奖励
Policy 决定如何选择动作的策略
Return 一段时间内累积的回报

强化学习的基本过程:

flowchart TB
    A["智能体 Agent"] -->|"执行动作 Action"| B["环境 Environment"]
    B -->|"返回状态 State"| A
    B -->|"返回奖励 Reward"| A
    A --> C["更新策略 Policy"]
    C --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

强化学习通常希望最大化期望累积回报:

J(\pi)= \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T}\gamma^t r_t \right]

其中:

  • \pi:策略。
  • r_t:时刻 t 获得的奖励。
  • \gamma:折扣因子。
  • T:任务结束时间或规划范围。

典型应用:

  • 游戏智能体。
  • 机器人控制。
  • 自动驾驶决策研究。
  • 资源调度。
  • 大模型对齐和策略优化。

4.4 半监督学习(Semi-supervised Learning)

半监督学习同时使用少量带标签数据和大量无标签数据。

其基本思想是:

  • 利用少量标注数据提供明确监督信号。
  • 利用大量无标签数据学习数据分布和结构。
  • 通过伪标签、一致性正则化等方法提升模型表现。

适用于标注成本较高、无标签数据较多的场景。

例如:

  • 医学影像分类。
  • 工业缺陷检测。
  • 语音识别。
  • 图像识别。

4.5 自监督学习(Self-supervised Learning)

自监督学习通过数据本身构造训练目标,不依赖人工逐条标注的标签。

例如,在语言模型中:

  • 输入一段文本。
  • 使用前面的 Token 作为上下文。
  • 预测下一个 Token。
  • 根据真实 Token 计算训练损失。

典型语言模型目标:

L(\theta)= -\sum_{t=1}^{T} \log P_\theta(x_t\mid x_{<t})

其中:

  • x_t:当前 Token。
  • x_{<t}:当前 Token 之前的上下文。
  • P_\theta:模型给出的条件概率。

自监督学习已经成为大规模预训练模型的重要技术路线。

4.6 不同学习范式对比

学习范式 训练数据 核心目标 典型任务
监督学习 有标签数据 学习输入到目标的映射 分类、回归
无监督学习 无标签数据 发现数据结构和规律 聚类、降维
强化学习 环境交互反馈 学习长期收益最大的策略 控制、决策
半监督学习 少量标签、大量无标签 利用无标签数据改善学习 图像分类
自监督学习 从数据构造监督信号 学习通用表示或预测能力 大模型预训练

这些范式并不是完全互斥的。实际系统可以组合多种学习方式。


五、机器学习的主流算法

机器学习算法有多种分类方式。按照模型结构和学习机制,可以了解以下几类主流算法。

5.1 线性回归(Linear Regression)

线性回归用于预测连续数值。

基本模型:

\hat{y}=w_1x_1+w_2x_2+\cdots+w_nx_n+b

矩阵形式:

\hat{y}=Xw+b

常见损失函数为均方误差:

MSE=\frac{1}{N} \sum_{i=1}^{N}(\hat{y}_i-y_i)^2

特点:

  • 模型结构简单。
  • 参数具有一定可解释性。
  • 训练和预测效率较高。
  • 适合近似线性关系的任务。

局限:

  • 对复杂非线性关系的表达能力有限。
  • 对异常值可能比较敏感。
  • 特征之间的关系可能需要人工处理。

5.2 逻辑回归(Logistic Regression)

逻辑回归主要用于分类任务。

虽然名字包含「回归」,但它通常被用作分类模型。

二分类逻辑回归:

P(y=1\mid x)=\sigma(w^Tx+b)

其中 Sigmoid 函数为:

\sigma(z)=\frac{1}{1+e^{-z}}

它将线性计算结果映射到 0 到 1 之间,作为正类的预测概率。

特点:

  • 模型结构相对简单。
  • 可以输出类别概率。
  • 具有较好的可解释性。
  • 常作为分类任务的基线模型。

5.3 决策树(Decision Tree)

决策树通过一系列条件判断完成分类或回归。

例如:

  • 年龄是否大于 30 岁?
  • 收入是否高于某个阈值?
  • 是否存在某类购买行为?

每次判断将数据划分到不同分支,最终到达叶节点得到预测结果。

常见划分指标:

  • 信息增益。
  • 信息增益率。
  • 基尼指数。

特点:

  • 结构直观。
  • 容易解释。
  • 能够处理非线性关系。
  • 对特征缩放通常不敏感。

局限:

  • 单棵树容易过拟合。
  • 对训练数据变化可能比较敏感。
  • 深度和剪枝策略需要合理控制。

5.4 随机森林(Random Forest)

随机森林是一种基于 Bagging 思想的集成学习算法。

它通过训练多棵决策树,并将它们的预测结果组合起来。

分类任务通常采用投票方式,回归任务通常采用平均方式。

核心机制:

  • 从训练数据中进行有放回抽样。
  • 每棵树使用随机选取的特征子集进行节点划分。
  • 多棵树独立训练。
  • 汇总所有树的预测结果。

特点:

  • 能够处理较复杂的非线性关系。
  • 通常比单棵决策树稳定。
  • 能够降低单棵树的方差。
  • 可以提供特征重要性等分析信息。

5.5 支持向量机(Support Vector Machine,SVM)

SVM 主要用于分类,也可以扩展用于回归。

它的核心思想是寻找能够区分类别的决策边界,并尽可能最大化分类间隔。

关键概念:

  • 超平面(Hyperplane)。
  • 支持向量(Support Vector)。
  • 间隔(Margin)。
  • 核函数(Kernel)。

对于线性可分情况,决策边界可以表示为:

w^Tx+b=0

SVM 通过优化间隔来寻找合适的决策边界。

使用核函数后,还可以处理非线性分类问题。

特点:

  • 在中小规模数据集上具有较好的表现。
  • 可以处理高维特征。
  • 核技巧能够扩展非线性建模能力。

局限:

  • 大规模数据训练可能成本较高。
  • 核函数和超参数选择较为重要。
  • 对特征缩放比较敏感。

5.6 K-Means

K-Means 是经典的无监督聚类算法。

它希望将数据划分为 K 个簇,使每个样本尽可能接近所属簇的中心。

优化目标:

J= \sum_{k=1}^{K} \sum_{x_i\in C_k} \|x_i-\mu_k\|^2

其中:

  • K:簇的数量。
  • C_k:第 k 个簇。
  • \mu_k:第 k 个簇的中心。

基本步骤:

  1. 初始化 K 个聚类中心。
  2. 将每个样本分配给最近的中心。
  3. 根据簇内样本重新计算中心。
  4. 重复分配和更新。
  5. 直到满足收敛条件。

特点:

  • 算法简单。
  • 计算效率较高。
  • 适合发现具有一定聚类结构的数据。

局限:

  • 需要提前指定 K。
  • 对初始中心较敏感。
  • 对异常值敏感。
  • 对非球形或密度差异较大的簇效果可能不理想。

5.7 梯度提升树(Gradient Boosting)

梯度提升是一类集成学习方法,通过逐步训练新的弱学习器,减少已有模型的预测误差。

其核心思想是:

  • 建立初始模型。
  • 计算当前模型的残差或损失函数的负梯度。
  • 训练新的弱学习器拟合这些信息。
  • 将新模型加入已有模型。
  • 逐步提升整体预测能力。

典型算法:

  • GBDT。
  • XGBoost。
  • LightGBM。
  • CatBoost。

梯度提升树在结构化数据任务中应用广泛,常见于风控、推荐、营销预测和业务分析。

5.8 神经网络(Neural Network)

神经网络由多个相互连接的计算单元组成,通过线性变换和非线性激活函数构建复杂的函数映射。

单层计算可以表示为:

z=Wx+b
a=\sigma(z)

其中:

  • W:权重矩阵。
  • b:偏置向量。
  • \sigma:激活函数。
  • a:该层输出。

通过多层结构,网络能够学习复杂的非线性关系。

常见网络结构:

网络类型 主要应用
MLP 通用结构化数据建模
CNN 图像、视觉任务
RNN 序列建模
LSTM 长序列建模
Transformer 语言、多模态、序列任务
GNN 图结构数据

深度学习是机器学习的重要分支,神经网络是其核心模型结构。


六、机器学习与深度学习有什么区别?

机器学习和深度学习并不是两个完全平行的技术领域。

深度学习属于机器学习的一部分。

DL\subseteq ML\subseteq AI

其中:

  • AI:人工智能,研究如何实现智能行为。
  • ML:机器学习,通过数据学习规律。
  • DL:深度学习,通过多层神经网络学习复杂表示。

6.1 核心区别

对比维度 传统机器学习 深度学习
模型结构 线性模型、树模型、核方法等 多层神经网络
特征工程 通常依赖人工设计 可自动学习多层特征表示
数据需求 许多任务中中小规模数据也可工作 复杂任务通常需要大量数据
计算资源 通常较低 通常较高
训练成本 相对较低 通常较高
可解释性 部分模型较容易解释 复杂网络通常较难解释
典型应用 风控、预测、结构化数据 图像、语音、语言、多模态