一、什么是机器学习?
机器学习(Machine Learning,简称 ML)是人工智能(Artificial Intelligence,AI)的重要分支。
它研究如何让计算机从数据中学习规律,并利用学习到的规律完成预测、分类、决策等任务,而不是完全依赖人工编写的固定规则。
传统编程通常由开发者明确编写处理逻辑:
- 输入数据。
- 执行预先定义的规则。
- 输出计算结果。
机器学习则采用不同的思路:
- 提供训练数据。
- 设计模型和学习算法。
- 通过训练自动调整模型参数。
- 让模型学习数据中的统计规律。
- 利用训练后的模型处理新数据。
两者最核心的区别在于:传统编程主要由人编写规则,机器学习则通过数据和算法学习规则。
1.1 一个简单的例子:垃圾邮件识别
假设需要开发一个垃圾邮件识别系统。
传统编程可能采用人工规则:
- 邮件标题包含「免费领取」,标记为垃圾邮件。
- 邮件正文包含大量广告链接,标记为垃圾邮件。
- 发件人来自黑名单,标记为垃圾邮件。
这种方式存在明显局限:
- 规则需要人工维护。
- 新型垃圾邮件可能绕过已有规则。
- 规则之间可能相互冲突。
- 难以覆盖复杂的语言表达和行为模式。
使用机器学习,可以收集大量已经标注的邮件数据:
- 正常邮件。
- 垃圾邮件。
模型通过训练学习邮件内容、发件人特征、链接特征与类别之间的关系。
训练完成后,输入一封新邮件,模型便可以预测它属于正常邮件还是垃圾邮件。
1.2 机器学习的基本过程
flowchart TB
A["收集训练数据"] --> B["数据预处理"]
B --> C["选择模型与算法"]
C --> D["模型训练"]
D --> E["学习模型参数"]
E --> F["模型评估"]
F --> G{"效果是否满足要求"}
G -->|"否"| H["调整模型或训练策略"]
H --> D
G -->|"是"| I["部署模型"]
I --> J["输入新数据"]
J --> K["模型预测"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#E5F0E9,stroke:#83A995,color:#315D49
二、机器学习的核心组成
机器学习不是单独的一个算法,而是一套由数据、模型、目标函数和优化算法共同构成的技术体系。
2.1 数据(Data)
数据是机器学习的基础。
模型通过数据学习规律,数据质量直接影响模型的训练效果和泛化能力。
常见数据类型:
| 数据类型 | 示例 |
|---|---|
| 数值数据 | 年龄、价格、温度、销量 |
| 类别数据 | 性别、商品类别、地区 |
| 文本数据 | 评论、邮件、新闻 |
| 图像数据 | 人脸、商品图片、医学影像 |
| 音频数据 | 语音、音乐、环境声音 |
| 时间序列 | 股票价格、传感器数据、流量指标 |
在机器学习中,通常需要将原始数据转换为模型能够处理的特征表示。
例如,预测房价时,可以使用:
- 房屋面积。
- 房间数量。
- 建筑年代。
- 地理位置。
- 周边配套。
这些信息可以作为模型的输入特征。
2.2 特征(Feature)
特征是用于描述样本属性的信息。
假设有一个房价预测任务:
其中:
- x_1:房屋面积。
- x_2:房间数量。
- x_3:建筑年代。
- x_4:距离地铁的距离。
模型根据这些特征预测房价:
其中:
- X:输入特征。
- \theta:模型参数。
- \hat{y}:模型预测结果。
传统机器学习通常需要较多人工特征工程,而深度学习能够通过多层网络自动学习更复杂的特征表示。
但这并不意味着深度学习完全不需要数据处理和特征设计。
2.3 模型(Model)
模型是对数据规律进行数学表达的计算结构。
例如线性回归模型:
其中:
- x:输入。
- w:权重。
- b:偏置。
- \hat{y}:预测结果。
模型参数决定了模型具体如何处理输入数据。
不同机器学习算法具有不同的模型结构和学习机制。
常见模型包括:
- 线性回归。
- 逻辑回归。
- 决策树。
- 随机森林。
- 支持向量机。
- K-Means。
- 神经网络。
2.4 损失函数(Loss Function)
损失函数用于衡量模型预测结果与真实结果之间的差异。
例如,回归任务中常用均方误差:
其中:
- N:样本数量。
- \hat{y}_i:模型预测值。
- y_i:真实值。
模型训练的一个核心目标,就是寻找合适的参数,使损失函数尽可能小:
2.5 优化算法(Optimization Algorithm)
优化算法负责根据损失函数的变化情况调整模型参数。
常见算法:
- 梯度下降(Gradient Descent)。
- 随机梯度下降(SGD)。
- Momentum。
- RMSProp。
- Adam。
以梯度下降为例:
其中:
- \theta_t:当前模型参数。
- \eta:学习率。
- \nabla L(\theta_t):损失函数关于参数的梯度。
优化算法利用梯度信息,逐步调整模型参数,使模型在训练数据上的损失下降。
三、机器学习是如何工作的?
从技术原理上看,机器学习训练过程可以分为数据准备、模型构建、模型训练、模型评估和模型推理几个阶段。
3.1 数据准备
首先收集与目标任务相关的数据。
例如,构建房价预测模型,需要收集:
- 房屋面积。
- 房屋位置。
- 房间数量。
- 房龄。
- 历史成交价格。
原始数据通常需要经过处理:
| 数据处理 | 作用 |
|---|---|
| 数据清洗 | 处理错误数据和重复数据 |
| 缺失值处理 | 补全或删除缺失记录 |
| 异常值处理 | 识别明显异常的数据 |
| 特征编码 | 将类别信息转换为数值表示 |
| 特征缩放 | 调整不同特征的数值范围 |
| 特征选择 | 保留与目标任务相关的特征 |
数据预处理的目标,是提高数据质量,使模型能够有效学习。
3.2 模型训练
模型训练的核心是利用训练数据调整参数。
以监督学习为例,训练数据通常包含输入和对应的目标值:
模型根据输入 x_i 计算预测结果:
再根据预测值与真实值计算损失:
通过优化算法不断更新参数。
3.3 前向传播与反向传播
对于神经网络,训练过程通常包含两个核心计算阶段。
前向传播(Forward Propagation)
数据从输入层进入网络,经过多个计算层,最终得到预测结果。
反向传播(Backpropagation)
根据损失函数,使用链式法则计算各层参数的梯度。
flowchart TB
A["输入训练数据"] --> B["前向传播"]
B --> C["得到模型预测"]
C --> D["计算损失函数"]
D --> E["反向传播"]
E --> F["计算参数梯度"]
F --> G["优化器更新参数"]
G --> H{"是否继续训练"}
H -->|"是"| B
H -->|"否"| I["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意:
- 前向传播负责计算预测结果。
- 反向传播负责计算梯度。
- 优化器负责更新参数。
这三个概念相互关联,但并不是同一件事。
3.4 模型评估
模型训练完成后,需要判断其在未参与训练的数据上是否具有良好的预测能力。
通常将数据划分为:
| 数据集 | 作用 |
|---|---|
| 训练集(Training Set) | 用于模型参数学习 |
| 验证集(Validation Set) | 用于模型选择和超参数调整 |
| 测试集(Test Set) | 用于最终性能评估 |
常见评估指标:
| 任务类型 | 评估指标 |
|---|---|
| 分类 | Accuracy、Precision、Recall、F1、AUC |
| 回归 | MAE、MSE、RMSE、R² |
| 聚类 | Silhouette Score、Davies-Bouldin Index |
| 排序 | NDCG、MAP、MRR |
不同任务需要选择合适的指标,不能仅凭准确率判断模型质量。
3.5 模型推理
模型训练完成后,可以用于处理新的输入数据。
这个阶段称为推理(Inference)。
例如:
- 输入一封邮件,预测是否为垃圾邮件。
- 输入一张图片,识别图片中的物体。
- 输入用户行为,预测用户可能购买的商品。
- 输入房屋特征,预测房屋价格。
训练和推理的区别:
| 对比项 | 训练(Training) | 推理(Inference) |
|---|---|---|
| 主要目标 | 学习模型参数 | 使用已训练参数 |
| 是否更新参数 | 通常会 | 通常不会 |
| 是否需要损失反向传播 | 训练时需要 | 一般不需要 |
| 主要计算 | 前向传播、反向传播、参数更新 | 前向计算 |
| 资源需求 | 通常较高 | 取决于模型规模和部署方式 |
四、机器学习的三种主要学习范式
按照训练数据和反馈信号的不同,机器学习通常分为三大类:
- 监督学习(Supervised Learning)。
- 无监督学习(Unsupervised Learning)。
- 强化学习(Reinforcement Learning)。
此外,还有半监督学习、自监督学习等重要范式。
4.1 监督学习(Supervised Learning)
监督学习使用带有标签的数据训练模型。
每条训练数据通常包含:
其中:
- x_i:输入特征。
- y_i:对应的真实标签或目标值。
模型学习输入与目标之间的映射关系:
监督学习主要包含两类任务。
分类(Classification)
预测样本属于哪个类别。
例如:
- 垃圾邮件识别。
- 图像分类。
- 用户流失预测。
- 欺诈交易识别。
回归(Regression)
预测一个连续数值。
例如:
- 房价预测。
- 销量预测。
- 温度预测。
- 设备寿命预测。
常见监督学习算法:
- 线性回归。
- 逻辑回归。
- 决策树。
- 随机森林。
- 支持向量机。
- K 近邻。
- XGBoost。
- 神经网络。
4.2 无监督学习(Unsupervised Learning)
无监督学习使用没有明确目标标签的数据,让模型从数据中发现结构、分布或潜在关系。
其核心目标不是直接预测已知标签,而是挖掘数据本身的规律。
常见任务包括:
聚类(Clustering)
将相似的数据样本划分到同一组。
例如:
- 用户分群。
- 商品分类。
- 客户行为分析。
- 异常群体发现。
降维(Dimensionality Reduction)
将高维数据映射到低维空间,尽可能保留重要信息。
例如:
- PCA 主成分分析。
- t-SNE。
- UMAP。
异常检测(Anomaly Detection)
识别与大多数正常样本明显不同的数据。
例如:
- 金融欺诈检测。
- 网络入侵检测。
- 工业设备异常监控。
常见无监督学习算法:
- K-Means。
- DBSCAN。
- 层次聚类。
- PCA。
- 高斯混合模型(GMM)。
- 自编码器(Autoencoder)。
4.3 强化学习(Reinforcement Learning)
强化学习研究智能体如何通过与环境交互,学习能够获得长期收益的行为策略。
核心组成:
| 概念 | 含义 |
|---|---|
| Agent | 智能体,负责选择行动 |
| Environment | 智能体交互的环境 |
| State | 当前状态 |
| Action | 智能体采取的动作 |
| Reward | 环境反馈的奖励 |
| Policy | 决定如何选择动作的策略 |
| Return | 一段时间内累积的回报 |
强化学习的基本过程:
flowchart TB
A["智能体 Agent"] -->|"执行动作 Action"| B["环境 Environment"]
B -->|"返回状态 State"| A
B -->|"返回奖励 Reward"| A
A --> C["更新策略 Policy"]
C --> A
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
强化学习通常希望最大化期望累积回报:
其中:
- \pi:策略。
- r_t:时刻 t 获得的奖励。
- \gamma:折扣因子。
- T:任务结束时间或规划范围。
典型应用:
- 游戏智能体。
- 机器人控制。
- 自动驾驶决策研究。
- 资源调度。
- 大模型对齐和策略优化。
4.4 半监督学习(Semi-supervised Learning)
半监督学习同时使用少量带标签数据和大量无标签数据。
其基本思想是:
- 利用少量标注数据提供明确监督信号。
- 利用大量无标签数据学习数据分布和结构。
- 通过伪标签、一致性正则化等方法提升模型表现。
适用于标注成本较高、无标签数据较多的场景。
例如:
- 医学影像分类。
- 工业缺陷检测。
- 语音识别。
- 图像识别。
4.5 自监督学习(Self-supervised Learning)
自监督学习通过数据本身构造训练目标,不依赖人工逐条标注的标签。
例如,在语言模型中:
- 输入一段文本。
- 使用前面的 Token 作为上下文。
- 预测下一个 Token。
- 根据真实 Token 计算训练损失。
典型语言模型目标:
其中:
- x_t:当前 Token。
- x_{<t}:当前 Token 之前的上下文。
- P_\theta:模型给出的条件概率。
自监督学习已经成为大规模预训练模型的重要技术路线。
4.6 不同学习范式对比
| 学习范式 | 训练数据 | 核心目标 | 典型任务 |
|---|---|---|---|
| 监督学习 | 有标签数据 | 学习输入到目标的映射 | 分类、回归 |
| 无监督学习 | 无标签数据 | 发现数据结构和规律 | 聚类、降维 |
| 强化学习 | 环境交互反馈 | 学习长期收益最大的策略 | 控制、决策 |
| 半监督学习 | 少量标签、大量无标签 | 利用无标签数据改善学习 | 图像分类 |
| 自监督学习 | 从数据构造监督信号 | 学习通用表示或预测能力 | 大模型预训练 |
这些范式并不是完全互斥的。实际系统可以组合多种学习方式。
五、机器学习的主流算法
机器学习算法有多种分类方式。按照模型结构和学习机制,可以了解以下几类主流算法。
5.1 线性回归(Linear Regression)
线性回归用于预测连续数值。
基本模型:
矩阵形式:
常见损失函数为均方误差:
特点:
- 模型结构简单。
- 参数具有一定可解释性。
- 训练和预测效率较高。
- 适合近似线性关系的任务。
局限:
- 对复杂非线性关系的表达能力有限。
- 对异常值可能比较敏感。
- 特征之间的关系可能需要人工处理。
5.2 逻辑回归(Logistic Regression)
逻辑回归主要用于分类任务。
虽然名字包含「回归」,但它通常被用作分类模型。
二分类逻辑回归:
其中 Sigmoid 函数为:
它将线性计算结果映射到 0 到 1 之间,作为正类的预测概率。
特点:
- 模型结构相对简单。
- 可以输出类别概率。
- 具有较好的可解释性。
- 常作为分类任务的基线模型。
5.3 决策树(Decision Tree)
决策树通过一系列条件判断完成分类或回归。
例如:
- 年龄是否大于 30 岁?
- 收入是否高于某个阈值?
- 是否存在某类购买行为?
每次判断将数据划分到不同分支,最终到达叶节点得到预测结果。
常见划分指标:
- 信息增益。
- 信息增益率。
- 基尼指数。
特点:
- 结构直观。
- 容易解释。
- 能够处理非线性关系。
- 对特征缩放通常不敏感。
局限:
- 单棵树容易过拟合。
- 对训练数据变化可能比较敏感。
- 深度和剪枝策略需要合理控制。
5.4 随机森林(Random Forest)
随机森林是一种基于 Bagging 思想的集成学习算法。
它通过训练多棵决策树,并将它们的预测结果组合起来。
分类任务通常采用投票方式,回归任务通常采用平均方式。
核心机制:
- 从训练数据中进行有放回抽样。
- 每棵树使用随机选取的特征子集进行节点划分。
- 多棵树独立训练。
- 汇总所有树的预测结果。
特点:
- 能够处理较复杂的非线性关系。
- 通常比单棵决策树稳定。
- 能够降低单棵树的方差。
- 可以提供特征重要性等分析信息。
5.5 支持向量机(Support Vector Machine,SVM)
SVM 主要用于分类,也可以扩展用于回归。
它的核心思想是寻找能够区分类别的决策边界,并尽可能最大化分类间隔。
关键概念:
- 超平面(Hyperplane)。
- 支持向量(Support Vector)。
- 间隔(Margin)。
- 核函数(Kernel)。
对于线性可分情况,决策边界可以表示为:
SVM 通过优化间隔来寻找合适的决策边界。
使用核函数后,还可以处理非线性分类问题。
特点:
- 在中小规模数据集上具有较好的表现。
- 可以处理高维特征。
- 核技巧能够扩展非线性建模能力。
局限:
- 大规模数据训练可能成本较高。
- 核函数和超参数选择较为重要。
- 对特征缩放比较敏感。
5.6 K-Means
K-Means 是经典的无监督聚类算法。
它希望将数据划分为 K 个簇,使每个样本尽可能接近所属簇的中心。
优化目标:
其中:
- K:簇的数量。
- C_k:第 k 个簇。
- \mu_k:第 k 个簇的中心。
基本步骤:
- 初始化 K 个聚类中心。
- 将每个样本分配给最近的中心。
- 根据簇内样本重新计算中心。
- 重复分配和更新。
- 直到满足收敛条件。
特点:
- 算法简单。
- 计算效率较高。
- 适合发现具有一定聚类结构的数据。
局限:
- 需要提前指定 K。
- 对初始中心较敏感。
- 对异常值敏感。
- 对非球形或密度差异较大的簇效果可能不理想。
5.7 梯度提升树(Gradient Boosting)
梯度提升是一类集成学习方法,通过逐步训练新的弱学习器,减少已有模型的预测误差。
其核心思想是:
- 建立初始模型。
- 计算当前模型的残差或损失函数的负梯度。
- 训练新的弱学习器拟合这些信息。
- 将新模型加入已有模型。
- 逐步提升整体预测能力。
典型算法:
- GBDT。
- XGBoost。
- LightGBM。
- CatBoost。
梯度提升树在结构化数据任务中应用广泛,常见于风控、推荐、营销预测和业务分析。
5.8 神经网络(Neural Network)
神经网络由多个相互连接的计算单元组成,通过线性变换和非线性激活函数构建复杂的函数映射。
单层计算可以表示为:
其中:
- W:权重矩阵。
- b:偏置向量。
- \sigma:激活函数。
- a:该层输出。
通过多层结构,网络能够学习复杂的非线性关系。
常见网络结构:
| 网络类型 | 主要应用 |
|---|---|
| MLP | 通用结构化数据建模 |
| CNN | 图像、视觉任务 |
| RNN | 序列建模 |
| LSTM | 长序列建模 |
| Transformer | 语言、多模态、序列任务 |
| GNN | 图结构数据 |
深度学习是机器学习的重要分支,神经网络是其核心模型结构。
六、机器学习与深度学习有什么区别?
机器学习和深度学习并不是两个完全平行的技术领域。
深度学习属于机器学习的一部分。
其中:
- AI:人工智能,研究如何实现智能行为。
- ML:机器学习,通过数据学习规律。
- DL:深度学习,通过多层神经网络学习复杂表示。
6.1 核心区别
| 对比维度 | 传统机器学习 | 深度学习 |
|---|---|---|
| 模型结构 | 线性模型、树模型、核方法等 | 多层神经网络 |
| 特征工程 | 通常依赖人工设计 | 可自动学习多层特征表示 |
| 数据需求 | 许多任务中中小规模数据也可工作 | 复杂任务通常需要大量数据 |
| 计算资源 | 通常较低 | 通常较高 |
| 训练成本 | 相对较低 | 通常较高 |
| 可解释性 | 部分模型较容易解释 | 复杂网络通常较难解释 |
| 典型应用 | 风控、预测、结构化数据 | 图像、语音、语言、多模态 |