返回专栏
· 22 分钟阅读

概率论与统计学:AI 的概率基础,从不确定性建模到模型评估


人工智能并不是简单地根据输入数据执行固定规则,而是在大量数据中学习规律,并利用这些规律对未知数据进行预测、分类、生成和决策。

现实世界的数据往往具有不确定性:

  • 一封邮件是否属于垃圾邮件,通常不是绝对确定的。
  • 一张图片可能同时包含多个类别的视觉特征。
  • 一个用户下一步可能点击多个不同的商品。
  • 一个大语言模型面对同一个上下文,可能生成不同的合理答案。
  • 一个模型在训练集上表现优秀,不代表它在未知数据上也能取得相同效果。

概率论为 AI 提供了描述不确定性的数学工具,统计学则帮助我们从有限的数据中发现规律、估计参数、检验假设和评估模型。

从机器学习到深度学习,从贝叶斯分类器到大语言模型,概率论与统计学贯穿了数据分析、模型训练、预测推理和效果评估的全过程。

本文重点介绍 AI 中最常用的概率与统计学知识,包括随机变量、概率分布、条件概率、贝叶斯公式、期望、方差、常见统计分布、参数估计、最大似然估计、假设检验、抽样与模型评估等内容。


一、概率论与统计学是什么?

1.1 概率论的定义

概率论(Probability Theory)是研究随机现象及其规律的数学分支。

它主要解决的问题是:

在结果具有不确定性的情况下,如何描述和计算不同事件发生的可能性?

例如:

  • 一枚硬币正面朝上的概率是多少?
  • 一封邮件属于垃圾邮件的概率是多少?
  • 一个用户购买某件商品的概率是多少?
  • 一个模型预测结果的置信程度有多高?

概率通常使用 P(A) 表示事件 A 发生的概率。

对于一个事件:

0\leq P(A)\leq 1

其中:

  • P(A)=0:事件不可能发生。
  • P(A)=1:事件必然发生。
  • 0<P(A)<1:事件具有一定的不确定性。

例如,一枚均匀硬币正面朝上的概率为:

P(正面)=0.5

概率并不是对某一次结果的保证,而是对随机现象规律的数学描述。

1.2 统计学的定义

统计学(Statistics)是研究如何收集、整理、分析和解释数据,并从数据中推断总体规律的学科。

它主要解决的问题是:

当我们只能观察有限的数据时,如何利用这些数据推断未知的总体特征?

例如:

  • 根据一批用户的购买记录,估计整体用户的消费偏好。
  • 根据训练样本,估计模型参数。
  • 根据测试集结果,判断模型的泛化能力。
  • 根据实验结果,判断某项模型优化是否真正有效。

1.3 概率论与统计学的区别

两者关系密切,但研究方向有所不同。

比较维度 概率论 统计学
研究方向 从已知概率模型推导结果 从观测数据推断模型
基本出发点 概率模型、随机变量 样本数据
主要问题 某个事件发生的可能性 数据反映了什么规律
典型任务 概率计算、分布分析 参数估计、假设检验
AI 中的应用 概率预测、贝叶斯推理 模型训练、实验评估

可以用一个简单的过程理解二者的关系:

flowchart TB
    A["概率论<br/>建立随机模型"]
    B["描述数据生成规律"]
    C["产生或观察数据"]
    D["统计学<br/>分析观测样本"]
    E["估计参数与检验假设"]
    F["更新或验证概率模型"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

在机器学习中,概率论帮助我们定义模型如何描述数据,统计学帮助我们利用数据估计模型参数并判断模型效果。


二、概率论的基本概念

2.1 随机试验

随机试验(Random Experiment)是指在相同条件下可以重复进行,但具体结果具有不确定性的试验。

例如:

  • 抛掷硬币。
  • 掷骰子。
  • 随机抽取一个用户。
  • 从数据集中随机抽取一条样本。
  • 观察一个用户是否点击推荐商品。

在 AI 中,随机试验可以对应数据采样、随机初始化、随机数据增强和模型预测等过程。

2.2 样本空间

样本空间(Sample Space)表示一次随机试验所有可能结果的集合,通常使用 \Omega 表示。

例如,抛掷一枚硬币:

\Omega=\{正面,反面\}

掷一次六面骰子:

\Omega=\{1,2,3,4,5,6\}

从一个用户集合中随机抽取用户,所有可能被抽取的用户也可以构成相应的样本空间。

2.3 随机事件

随机事件(Random Event)是样本空间中的一个子集。

例如,掷一次骰子:

事件 A:点数大于 3。

A=\{4,5,6\}

如果骰子均匀,则:

P(A)=\frac{3}{6}=0.5

常见的事件关系包括:

  • 事件的并集。
  • 事件的交集。
  • 事件的补集。
  • 互斥事件。
  • 独立事件。

2.4 互斥事件

如果两个事件不能同时发生,则称它们互斥。

例如,单次掷骰子:

  • A:点数为 1。
  • B:点数为 6。

两个事件不可能同时发生,因此:

P(A\cap B)=0

互斥事件的概率满足:

P(A\cup B)=P(A)+P(B)

需要注意,互斥与独立不是同一个概念。

对于两个概率都大于零的事件,如果它们互斥,那么它们不可能独立。

2.5 独立事件

如果事件 A 的发生不会改变事件 B 发生的概率,则称 A 和 B 相互独立。

数学定义:

P(A\cap B)=P(A)P(B)

例如,连续进行两次相互独立的硬币抛掷。

第一次正面和第二次正面是两个独立事件:

P(A\cap B)=0.5\times0.5=0.25

在机器学习中,独立性假设经常用于简化概率计算。

例如朴素贝叶斯分类器,会在给定类别的条件下假设各个特征条件独立。

但真实数据中的特征往往存在相关性,因此这是一种建模假设,而不是普遍成立的事实。


三、随机变量:如何将随机结果转换为数值?

3.1 什么是随机变量?

随机变量(Random Variable)是将随机试验的结果映射为数值的函数。

通常使用大写字母 X、Y、Z 表示随机变量。

例如,抛掷一枚硬币:

X= \begin{cases} 1,& 正面\\ 0,& 反面 \end{cases}

此时,随机变量 X 只有两个可能取值:

X\in\{0,1\}

随机变量并不是一个随机变化的普通变量,而是一个用于描述随机结果的数学函数。

在 AI 中:

  • X 可以表示输入特征。
  • Y 可以表示预测目标。
  • Z 可以表示潜在变量。
  • \theta 可以表示模型参数。

3.2 离散型随机变量

离散型随机变量(Discrete Random Variable)只能取有限个或可数无限个数值。

例如:

  • 一次抛硬币的结果。
  • 一天内某个网站的访问次数。
  • 一条文本中的 Token 数量。
  • 用户是否购买某个商品。

其概率可以通过概率质量函数表示:

P(X=x)

对于所有可能取值:

\sum_x P(X=x)=1

例如,均匀骰子的概率分布:

随机变量取值 概率
1 1/6
2 1/6
3 1/6
4 1/6
5 1/6
6 1/6

3.3 连续型随机变量

连续型随机变量(Continuous Random Variable)可以在某个区间内取任意实数值。

例如:

  • 用户停留时间。
  • 商品价格。
  • 图片像素经过归一化后的连续数值。
  • 模型预测的某些连续指标。

连续型随机变量通常使用概率密度函数(Probability Density Function,PDF)描述。

记作:

f_X(x)

连续型随机变量在某个区间内的概率,通过积分计算:

P(a\leq X\leq b) = \int_a^b f_X(x)\,dx

对于连续型随机变量:

P(X=x)=0

这并不意味着某个具体数值不可能出现,而是因为单个点的概率为零,需要通过区间来计算概率。

3.4 概率质量函数与概率密度函数

比较维度 PMF PDF
中文名称 概率质量函数 概率密度函数
适用对象 离散随机变量 连续随机变量
数学表示 P(X=x) f_X(x)
概率计算 直接求概率 对密度积分
单点概率 可以大于零 等于零

3.5 累积分布函数

累积分布函数(Cumulative Distribution Function,CDF)定义为:

F_X(x)=P(X\leq x)

它表示随机变量取值小于或等于某个数值的累计概率。

CDF 同时适用于离散型和连续型随机变量。

例如:

F_X(3)=P(X\leq3)

对于连续型随机变量:

F_X(x)=\int_{-\infty}^{x}f_X(t)\,dt

CDF 具有以下基本性质:

  1. 单调不减。
  2. 取值范围为 [0,1]。
  3. 当 x 趋近负无穷时,CDF 趋近 0。
  4. 当 x 趋近正无穷时,CDF 趋近 1。

CDF 在统计建模、分位数计算、异常值分析和概率评估中都有应用。


四、常见概率分布:AI 如何描述数据规律?

概率分布(Probability Distribution)用于描述随机变量可能取值及其概率规律。

不同类型的数据,通常需要使用不同的概率分布进行建模。

4.1 伯努利分布

伯努利分布(Bernoulli Distribution)描述只有两种可能结果的随机试验。

例如:

  • 用户是否点击广告。
  • 用户是否购买商品。
  • 邮件是否属于垃圾邮件。
  • 模型预测是否正确。

定义:

X\sim Bernoulli(p)

其中:

P(X=1)=p
P(X=0)=1-p

概率质量函数:

P(X=x)=p^x(1-p)^{1-x}

其中 x\in\{0,1\}。

期望:

E[X]=p

方差:

Var(X)=p(1-p)

伯努利分布是二分类任务的重要概率基础。

4.2 二项分布

二项分布(Binomial Distribution)描述在固定次数的独立伯努利试验中,成功次数的概率分布。

定义:

X\sim Binomial(n,p)

其中:

  • n:试验次数。
  • p:每次试验成功的概率。
  • X:成功次数。

概率质量函数:

P(X=k)= \binom{n}{k}p^k(1-p)^{n-k}

期望:

E[X]=np

方差:

Var(X)=np(1-p)

例如,一个广告向 100 个用户展示,每个用户点击的概率为 0.1,并假设点击事件独立,则点击人数可以使用二项分布建模。

需要注意,真实广告场景中,不同用户的点击概率可能不同,而且用户行为可能存在相关性,因此二项分布只是简化模型。

4.3 分类分布

分类分布(Categorical Distribution)描述一个随机变量从有限个类别中选择一个类别的概率。

例如,一个分类模型预测三种动物:

P(Y)= \begin{bmatrix} 0.7\\ 0.2\\ 0.1 \end{bmatrix}

分别表示:

  • 猫:0.7。
  • 狗:0.2。
  • 鸟:0.1。

满足:

\sum_{i=1}^{K}p_i=1

分类分布是多分类模型输出概率的常见数学基础。

4.4 多项分布

多项分布(Multinomial Distribution)是二项分布在多个类别情况下的推广。

假设每次试验有 K 个可能类别,各类别概率分别为:

p_1,p_2,\ldots,p_K

进行 n 次独立试验,得到各类别出现次数:

X_1,X_2,\ldots,X_K

概率为:

P(X_1=x_1,\ldots,X_K=x_K) = \frac{n!}{x_1!\cdots x_K!} \prod_{i=1}^{K}p_i^{x_i}

其中:

\sum_{i=1}^{K}x_i=n

多项分布常用于文本分类、类别频次统计和生成模型的离散输出建模。

4.5 均匀分布

均匀分布(Uniform Distribution)表示在给定范围内,各个可能取值具有相同的概率密度。

连续均匀分布:

X\sim U(a,b)

概率密度函数:

f(x)= \begin{cases} \frac{1}{b-a},&a\leq x\leq b\\ 0,&其他 \end{cases}

期望:

E[X]=\frac{a+b}{2}

方差:

Var(X)=\frac{(b-a)^2}{12}

均匀分布常用于随机采样、参数初始化和模拟实验。

4.6 正态分布

正态分布(Normal Distribution)是统计学中最重要的连续概率分布之一。

定义:

X\sim N(\mu,\sigma^2)

其中:

  • \mu:均值。
  • \sigma^2:方差。
  • \sigma:标准差。

概率密度函数:

f(x)= \frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right)

正态分布具有钟形曲线特征:

  • 均值决定分布中心。
  • 标准差决定分布的离散程度。
  • 分布关于均值对称。

常见经验范围:

区间 约占总体比例
\mu\pm\sigma 68.27%
\mu\pm2\sigma 95.45%
\mu\pm3\sigma 99.73%

正态分布在 AI 中有多种应用:

  • 高斯噪声建模。
  • 参数初始化。
  • 测量误差分析。
  • 回归模型中的误差假设。
  • 变分自编码器中的潜在变量建模。
  • 扩散模型中的噪声建模。

需要注意,并不是所有真实数据都服从正态分布。不能仅因为某种统计方法常用正态分布,就默认数据一定符合正态分布。

4.7 泊松分布

泊松分布(Poisson Distribution)用于描述固定时间或空间范围内某类事件发生的次数。

定义:

X\sim Poisson(\lambda)

概率质量函数:

P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}

其中:

  • \lambda:单位范围内事件发生的平均次数。
  • k:事件实际发生次数。

期望:

E[X]=\lambda

方差:

Var(X)=\lambda

典型应用:

  • 网站每分钟访问次数。
  • 系统每小时错误发生次数。
  • 用户在一定时间内的点击次数。
  • 服务系统中的请求到达数量。

经典泊松模型通常要求事件发生具有一定的独立性和稳定的平均发生率。对于存在明显突发性或过度离散的数据,可能需要其他模型。

4.8 指数分布

指数分布(Exponential Distribution)通常用于描述两个连续事件之间的等待时间。

定义:

X\sim Exponential(\lambda)

概率密度函数:

f(x)=\lambda e^{-\lambda x},\quad x\geq0

其中 \lambda 表示事件发生率。

期望:

E[X]=\frac{1}{\lambda}

方差:

Var(X)=\frac{1}{\lambda^2}

常见应用:

  • 系统请求到达间隔。
  • 某些设备的故障间隔。
  • 服务等待时间建模。

指数分布具有无记忆性:

P(X>s+t\mid X>s)=P(X>t)

这意味着,在指数分布假设下,已经等待的时间不会改变剩余等待时间的分布。

4.9 常见概率分布对比

分布 类型 主要用途 AI 中的典型应用
伯努利分布 离散 二元结果 二分类
二项分布 离散 固定次数成功数 点击次数统计
分类分布 离散 多类别单次选择 多分类预测
多项分布 离散 多类别计数 类别频次建模
均匀分布 连续/离散 等概率取值 随机采样
正态分布 连续 对称连续数据 高斯噪声、参数建模
泊松分布 离散 单位范围内事件计数 请求次数、错误次数
指数分布 连续 事件等待时间 到达间隔、寿命建模

五、条件概率:已知信息如何改变概率?

5.1 什么是条件概率?

条件概率(Conditional Probability)表示在事件 B 已经发生的条件下,事件 A 发生的概率。

定义:

P(A\mid B)=\frac{P(A\cap B)}{P(B)}

其中要求:

P(B)>0

条件概率的核心思想是:

当我们获得新的信息后,需要在新的条件下重新计算事件发生的可能性。

5.2 条件概率示例

假设一个系统中:

  • 40% 的用户使用移动端。
  • 20% 的用户购买了商品。
  • 在移动端用户中,有 30% 购买了商品。

那么:

P(购买\mid 移动端)=0.3

这表示在已经知道用户使用移动端的情况下,购买概率为 30%。

条件概率与普通概率不同:

P(A\mid B)\neq P(A)

通常,新条件会改变事件概率,但在 A 和 B 独立时,两者才相等。

5.3 联合概率

联合概率(Joint Probability)表示两个事件同时发生的概率。

P(A,B)=P(A\cap B)

根据条件概率:

P(A,B)=P(A\mid B)P(B)

也可以写成:

P(A,B)=P(B\mid A)P(A)

这就是概率乘法公式。

对于多个变量,可以扩展为:

P(X_1,\ldots,X_n) = P(X_1) \prod_{i=2}^{n} P(X_i\mid X_1,\ldots,X_{i-1})

这种联合概率分解在概率图模型和自回归语言模型中非常重要。

5.4 全概率公式

全概率公式(Law of Total Probability)用于通过不同互斥情况计算一个事件的总概率。

假设:

B_1,B_2,\ldots,B_n

构成样本空间的一个划分,那么:

P(A)= \sum_{i=1}^{n}P(A\mid B_i)P(B_i)

例如,一个用户可能来自不同渠道:

  • 搜索渠道。
  • 广告渠道。
  • 自然推荐渠道。

如果已知各渠道的用户占比,以及各渠道用户的购买概率,就可以计算整体用户的购买概率。

5.5 贝叶斯公式

贝叶斯公式(Bayes' Theorem)是概率论中非常重要的公式。

它用于根据已经观察到的证据,更新对某个假设的概率判断。

P(A\mid B) = \frac{P(B\mid A)P(A)}{P(B)}

其中:

符号 含义
P(A) 先验概率
P(B\mid A) 似然
P(B) 证据概率
P(A\mid B) 后验概率

其核心逻辑是:

  • 先有一个初始判断。
  • 观察到新的证据。
  • 根据证据出现的可能性更新判断。
  • 得到新的后验概率。

5.6 贝叶斯公式案例:垃圾邮件识别

假设:

  • 垃圾邮件占全部邮件的 20%。
  • 普通邮件占 80%。
  • 垃圾邮件中包含某个关键词的概率为 70%。
  • 普通邮件中包含该关键词的概率为 10%。

定义:

  • S:邮件属于垃圾邮件。
  • K:邮件包含指定关键词。

已知:

P(S)=0.2
P(\neg S)=0.8
P(K\mid S)=0.7
P(K\mid\neg S)=0.1

首先,根据全概率公式计算关键词出现的概率:

P(K)=P(K\mid S)P(S)+P(K\mid\neg S)P(\neg S)

代入:

P(K)=0.7\times0.2+0.1\times0.8
P(K)=0.22

然后使用贝叶斯公式:

P(S\mid K) = \frac{P(K\mid S)P(S)}{P(K)}
= \frac{0.7\times0.2}{0.22}
\approx0.6364

因此,在这组假设下,一封包含该关键词的邮件属于垃圾邮件的后验概率约为 63.64%。

需要注意,单个关键词通常不足以准确判断邮件类型。实际垃圾邮件分类器会综合多个特征进行建模。

5.7 先验概率、似然与后验概率

这三个概念是贝叶斯推理的核心。

先验概率(Prior)

观察当前证据之前,对假设的初始概率判断。

例如,某类疾病在总体人群中的患病率。

似然(Likelihood)

在某个假设成立的前提下,观察到当前数据的可能性。

例如,患病人群出现某种检测结果的概率。

后验概率(Posterior)

观察证据之后,对假设重新计算得到的概率。

例如,在检测结果为阳性的情况下,一个人真正患病的概率。

5.8 贝叶斯推理过程

flowchart TB
    A["建立先验概率"]
    B["观察新证据"]
    C["计算似然"]
    D["计算证据概率"]
    E["应用贝叶斯公式"]
    F["得到后验概率"]
    G["根据新信息更新判断"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

六、期望、方差与标准差:如何描述数据特征?

概率分布可以描述随机变量的完整规律,但在实际分析中,经常需要使用少量统计指标概括数据。

其中最重要的是期望、方差和标准差。

6.1 数学期望

数学期望(Expected Value)表示随机变量长期重复试验下的平均结果。

对于离散型随机变量:

E[X]=\sum_i x_iP(X=x_i)

对于连续型随机变量:

E[X]=\int_{-\infty}^{+\infty}xf_X(x)\,dx

例如,均匀六面骰子的期望:

E[X]=\frac{1+2+3+4+5+6}{6}
E[X]=3.5

需要注意,期望值不一定是随机变量实际可能取得的值。

骰子的结果只有 1 到 6,但期望是 3.5。

6.2 期望的线性性质

对于随机变量 X、Y 和常数 a、b:

E[aX+bY]=aE[X]+bE[Y]

这一性质不要求 X 和 Y 相互独立。

特别地:

E[X+Y]=E[X]+E[Y]

这在机器学习中非常重要,因为许多损失函数和统计指标都需要计算样本的平均值。

6.3 方差

方差(Variance)用于衡量随机变量围绕期望值的离散程度。

定义:

Var(X)=E[(X-E[X])^2]

也可以展开为:

Var(X)=E[X^2]-(E[X])^2

方差越大,说明数据相对于均值的波动通常越大。

6.4 标准差

标准差(Standard Deviation)是方差的平方根:

\sigma=\sqrt{Var(X)}

标准差与原始数据具有相同的单位,因此更容易解释。

例如:

  • 两组数据的平均成绩相同。
  • 第一组标准差较小,成绩更集中。
  • 第二组标准差较大,成绩更加分散。

6.5 总体方差与样本方差

在统计分析中,需要区分总体和样本。

总体方差:

\sigma^2= \frac{1}{N} \sum_{i=1}^{N}(x_i-\mu)^2

样本方差的常见无偏估计:

s^2= \frac{1}{n-1} \sum_{i=1}^{n}(x_i-\bar{x})^2

其中:

  • N:总体数量。
  • n:样本数量。
  • \mu:总体均值。
  • \bar{x}:样本均值。

样本方差使用 n-1 作为分母,通常称为贝塞尔校正。

它用于修正使用样本均值代替总体均值所带来的偏差,使样本方差成为总体方差的无偏估计。

6.6 协方差

协方差(Covariance)用于描述两个随机变量共同变化的方向。

定义:

Cov(X,Y) = E[(X-E[X])(Y-E[Y])]

展开:

Cov(X,Y)=E[XY]-E[X]E[Y]

一般而言:

  • 协方差大于 0:两个变量倾向于同向变化。
  • 协方差小于 0:两个变量倾向于反向变化。
  • 协方差接近 0:线性共同变化关系较弱。

但协方差为零不一定意味着两个变量独立。

6.7 相关系数

相关系数(Correlation Coefficient)用于衡量两个变量之间的线性相关程度。

常见的皮尔逊相关系数:

\rho_{X,Y} = \frac{Cov(X,Y)}{\sigma_X\sigma_Y}

其取值范围:

-1\leq\rho_{X,Y}\leq1
相关系数 含义
接近 1 强正线性相关
接近 0 线性相关较弱
接近 -1 强负线性相关

相关性不代表因果关系。

例如,某两个变量可能同时受到第三个变量影响,因此表现出相关性,但它们之间并不存在直接的因果关系。

6.8 统计量之间的关系

flowchart TB
    A["随机变量 X"]
    B["概率分布"]
    C["数学期望 E(X)"]
    D["方差 Var(X)"]
    E["标准差 σ"]
    F["协方差 Cov(X,Y)"]
    G["相关系数 ρ"]

    A --> B
    B --> C
    B --> D
    D --> E
    B --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

七、统计学基础:如何从样本推断总体?

7.1 总体与样本

总体(Population)是研究对象的完整集合。

样本(Sample)是从总体中抽取的一部分观测数据。

例如:

  • 总体:某平台的全部用户。
  • 样本:从平台用户中随机抽取的 10 万名用户。

实际 AI 系统通常无法获得全部真实数据,因此需要使用样本进行模型训练和统计推断。

7.2 参数与统计量

总体参数(Parameter)用于描述总体特征。

例如:

  • 总体均值 \mu。
  • 总体方差 \sigma^2。
  • 总体比例 p。

统计量(Statistic)则是根据样本数据计算得到的数值。

例如:

  • 样本均值 \bar{x}。
  • 样本方差 s^2。
  • 样本比例 \hat p。

统计学的一个重要任务,就是使用样本统计量估计未知总体参数。

7.3 抽样

抽样(Sampling)是从总体中选择部分样本进行研究的过程。

常见方法:

抽样方式 说明
简单随机抽样 每个样本单位具有相同的被抽取机会
分层抽样 按照特征分层后分别抽样
整群抽样 选择部分群体作为样本
系统抽样 按照固定间隔抽取样本
便利抽样 根据获取便利程度选择样本

在机器学习中,训练集、验证集和测试集的划分也涉及抽样思想。

如果抽样过程存在偏差,模型可能无法代表真实目标人群。

7.4 抽样偏差

抽样偏差(Sampling Bias)是指样本的选择机制导致样本不能合理代表目标总体。

例如:

一个推荐系统只使用活跃用户数据训练模型,却希望模型服务全部用户。

这可能导致模型对低活跃用户的兴趣和行为模式学习不足。

常见数据偏差包括:

  • 选择偏差。
  • 覆盖偏差。
  • 无响应偏差。
  • 历史数据偏差。
  • 标签偏差。

模型效果不佳,有时并不是模型结构不够复杂,而是训练数据本身存在偏差。

7.5 大数定律

大数定律(Law of Large Numbers)描述:

在满足相应条件的情况下,随着独立同分布样本数量增加,样本均值会以概率意义或几乎必然的方式趋近总体期望。

常见表达:

\bar X_n= \frac{1}{n}\sum_{i=1}^{n}X_i

当样本数量不断增加时:

\bar X_n\rightarrow E[X]

大数定律是使用样本平均值估计总体期望的重要理论基础。

但它不意味着样本数量增加就能自动消除抽样偏差。

如果样本来源本身存在系统性偏差,增加样本数量可能只是让偏差更加稳定。

7.6 中心极限定理

中心极限定理(Central Limit Theorem,CLT)是统计学中非常重要的定理。

在独立同分布、具有有限均值和有限方差等条件下,当样本数量足够大时,经过适当标准化的样本均值分布会趋近于标准正态分布。

设:

E[X_i]=\mu
Var(X_i)=\sigma^2

样本均值:

\bar X_n=\frac{1}{n}\sum_{i=1}^{n}X_i

标准化后:

Z= \frac{\bar X_n-\mu}{\sigma/\sqrt n}

当 n 足够大时:

Z\overset{d}{\longrightarrow}N(0,1)

中心极限定理解释了为什么很多统计推断方法能够使用正态分布作为近似基础。

需要注意:

  • 中心极限定理讨论的是样本均值等统计量的抽样分布。
  • 它并不意味着原始数据一定服从正态分布。
  • 所需样本规模与原始分布形态、偏度、尾部特征等因素有关。

八、参数估计:如何从数据中学习未知参数?

统计建模通常需要使用有限样本估计未知参数。

例如:

  • 估计数据的均值和方差。
  • 估计分类模型的类别概率。
  • 估计正态分布的参数。
  • 估计神经网络的权重参数。

8.1 点估计

点估计(Point Estimation)是使用一个具体数值估计未知参数。

例如,使用样本均值估计总体均值:

\hat\mu=\bar X = \frac{1}{n}\sum_{i=1}^{n}X_i

其中:

  • \mu:未知总体均值。
  • \hat\mu:估计得到的均值。

常见估计方法:

  • 矩估计。
  • 最大似然估计。
  • 最大后验估计。
  • 最小二乘估计。

8.2 矩估计

矩估计(Method of Moments)是一种通过样本矩匹配理论矩来估计参数的方法。

例如,假设随机变量服从伯努利分布:

X\sim Bernoulli(p)

理论期望为:

E[X]=p

使用样本均值匹配理论期望:

\bar X=p

得到参数估计:

\hat p=\bar X

8.3 最大似然估计

最大似然估计(Maximum Likelihood Estimation,MLE)是机器学习中非常重要的参数估计方法。

核心思想:

选择一组参数,使已经观测到的数据在该参数下出现的可能性最大。

假设观测数据为:

D=\{x_1,x_2,\ldots,x_n\}

模型由参数 \theta 控制。

如果样本独立同分布,则似然函数为:

L(\theta) = P(D\mid\theta) = \prod_{i=1}^{n}P(x_i\mid\theta)

最大似然估计:

\hat\theta_{MLE} = \arg\max_\theta L(\theta)

由于多个概率相乘容易出现数值下溢,实际计算通常使用对数似然:

\ell(\theta) = \log L(\theta)
= \sum_{i=1}^{n}\log P(x_i\mid\theta)

最终:

\hat\theta_{MLE} = \arg\max_\theta \sum_{i=1}^{n}\log P(x_i\mid\theta)

对数函数单调递增,因此最大化似然和最大化对数似然得到相同的最优参数。

8.4 最大似然估计案例:估计硬币正面概率

假设连续抛掷一枚硬币 10 次,观察到:

  • 正面 7 次。
  • 反面 3 次。

假设正面概率为 p。

观测数据的似然函数:

L(p)=p^7(1-p)^3

对数似然:

\ell(p)=7\log p+3\log(1-p)

求导:

\frac{d\ell(p)}{dp} = \frac{7}{p}-\frac{3}{1-p}

令导数为零:

\frac{7}{p}=\frac{3}{1-p}

得到:

7(1-p)=3p
\hat p=\frac{7}{10}=0.7

因此,最大似然估计得到的正面概率为 0.7。

8.5 最大后验估计

最大后验估计(Maximum A Posteriori,MAP)不仅考虑观测数据,还引入参数的先验分布。

根据贝叶斯公式:

P(\theta\mid D) \propto P(D\mid\theta)P(\theta)

最大后验估计:

\hat\theta_{MAP} = \arg\max_\theta P(D\mid\theta)P(\theta)

取对数:

\hat\theta_{MAP} = \arg\max_\theta \left[ \log P(D\mid\theta)+\log P(\theta) \right]

与 MLE 相比,MAP 多了一个先验项。

这意味着 MAP 不仅考虑数据对参数的支持程度,也考虑参数本身是否符合先验假设。

8.6 MLE 与 MAP 的区别

比较维度 MLE MAP
中文名称 最大似然估计 最大后验估计
优化目标 最大化数据似然 最大化参数后验概率
是否使用先验 不显式使用 使用
核心表达 P(D\mid\theta) P(\theta\mid D)
典型应用 统计参数估计 贝叶斯估计、正则化解释

在某些条件下,MAP 可以转化为带正则化项的优化问题。

例如,高斯先验通常对应 L2 正则化,拉普拉斯先验通常对应 L1 正则化。

但具体等价关系依赖于参数先验、数据似然和优化目标的定义。


九、概率论与机器学习:损失函数背后的统计意义

概率论不仅用于模型预测,也直接影响模型训练目标。

9.1 机器学习中的概率建模

假设训练数据:

D=\{(x_i,y_i)\}_{i=1}^{n}

模型希望学习一个条件概率分布:

P(y\mid x;\theta)

其中:

  • x:输入数据。
  • y:目标结果。
  • \theta:模型参数。

模型训练的目标之一,是让真实观测标签在模型预测分布下具有较高概率。