一、神经网络的基本概念
神经网络(Neural Network)是一类受生物神经系统启发、以参数化计算单元为基础的机器学习模型。
它通过多个神经元(Neuron)组成计算层,将输入数据经过一系列线性变换和非线性变换,逐步提取特征、建立数据与目标之间的映射关系,最终完成分类、回归、生成等任务。
神经网络是深度学习(Deep Learning)的核心基础。
需要明确几个概念:
| 概念 | 含义 |
|---|---|
| 神经元(Neuron) | 执行加权求和与非线性变换的基本计算单元 |
| 权重(Weight) | 控制输入特征对计算结果影响程度的参数 |
| 偏置(Bias) | 加入线性变换的可学习参数 |
| 激活函数(Activation Function) | 为神经网络引入非线性能力 |
| 网络层(Layer) | 由一组神经元或张量运算构成的计算阶段 |
| 前向传播(Forward Propagation) | 输入经过网络逐层计算得到输出的过程 |
| 损失函数(Loss Function) | 衡量模型预测结果与目标之间差异的函数 |
| 反向传播(Backpropagation) | 利用链式法则计算损失对模型参数的梯度 |
| 优化器(Optimizer) | 根据梯度更新模型参数的算法 |
神经网络的核心思想可以概括为:
通过大量可学习参数和非线性计算,构建一个能够从数据中学习复杂映射关系的模型。
二、神经网络为什么能够学习?
传统程序通常由开发者明确编写处理规则:
输入数据
↓
执行预先定义的规则
↓
输出结果
神经网络则采用不同的方式。
开发者定义网络结构、损失函数和训练方法,模型通过训练数据不断调整内部参数,使预测结果逐渐接近目标。
例如,识别一张图片是否包含猫:
- 输入:图片像素数据。
- 输出:图片属于猫这一类别的概率。
- 参数:神经网络内部的权重和偏置。
- 训练目标:降低预测结果与真实标签之间的损失。
模型并不是由开发者逐条编写猫的识别规则,而是通过大量样本学习能够区分不同类别的特征表示。
2.1 神经网络的基本学习过程
flowchart TB
A["输入训练数据"] --> B["神经网络前向传播"]
B --> C["生成预测结果"]
C --> D["计算损失函数"]
D --> E["反向传播计算梯度"]
E --> F["优化器更新参数"]
F --> G{"是否达到停止条件"}
G -->|"否"| B
G -->|"是"| H["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这个过程会重复执行多个训练步骤,直到达到预设的训练轮数、损失阈值、验证集停止条件或其他停止标准。
需要注意:
- 前向传播负责计算预测结果。
- 损失函数负责衡量预测误差。
- 反向传播负责计算梯度。
- 优化器负责更新参数。
反向传播和参数优化是两个不同的环节,不能将它们混为一谈。
三、人工神经元:神经网络的基本计算单元
人工神经元(Artificial Neuron)是神经网络中最基础的计算单元。
它接收多个输入,对输入进行加权求和,再通过激活函数产生输出。
3.1 神经元的数学表达式
假设一个神经元接收 n 个输入:
每个输入对应一个权重:
同时存在一个偏置参数 b。
首先计算线性组合:
然后经过激活函数:
其中:
- x_i:输入特征。
- w_i:输入对应的权重。
- b:偏置。
- z:加权求和结果。
- f:激活函数。
- a:神经元最终输出。
整体过程:
flowchart TB
A["输入特征 x1"] --> D["加权求和"]
B["输入特征 x2"] --> D
C["输入特征 xn"] --> D
W["权重参数 W"] --> D
P["偏置参数 b"] --> D
D --> E["线性结果 z"]
E --> F["激活函数 f"]
F --> G["输出 a"]
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style W fill:#EAF3EC,stroke:#83A995,color:#315D49
style P fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
3.2 权重的作用
权重决定不同输入特征对神经元输出的影响程度。
例如:
这里:
- x_1 的权重为 0.8。
- x_2 的权重为 0.2。
在其他条件相同的情况下,x_1 对线性结果的影响更大。
权重是神经网络训练过程中需要学习的核心参数。
模型通过调整权重,逐渐改变输入特征与输出结果之间的映射关系。
需要注意,权重大小不能直接等同于特征重要性。输入特征的量纲、相关性、网络结构以及非线性作用都会影响实际解释。
3.3 偏置的作用
偏置允许神经元在输入为零时仍然具有非零的线性输出。
如果没有偏置:
线性变换必须经过原点,表达能力会受到限制。
加入偏置后,模型可以调整线性变换的位置,使其具有更大的拟合能力。
3.4 为什么需要激活函数?
这是理解神经网络最重要的基础之一。
如果神经网络只包含线性变换,那么无论堆叠多少层,最终仍然只是一个线性变换。
例如:
代入得到:
整理后:
仍然可以写成:
这意味着多层线性计算并不会自动获得复杂的非线性表达能力。
因此,神经网络需要在层与层之间引入非线性激活函数。
激活函数使网络能够学习更加复杂的映射关系,是深度神经网络具备强大表达能力的重要原因。
四、常见激活函数
激活函数决定神经元如何将线性计算结果转换为输出。
不同激活函数具有不同的数值范围、梯度特性和适用场景。
4.1 Sigmoid
Sigmoid 函数:
输出范围:
特点:
- 将任意实数映射到 0 到 1 之间。
- 输出可以解释为概率形式,但是否具有良好概率校准还取决于模型和训练过程。
- 常用于二分类模型的输出层。
- 在较大正值或负值区域容易出现梯度饱和。
导数:
当输入绝对值较大时,导数趋近于零,可能导致梯度消失。
4.2 Tanh
双曲正切函数:
输出范围:
特点:
- 输出以零为中心。
- 相比 Sigmoid,输出包含正值和负值。
- 在较大正值或负值区域同样存在梯度饱和问题。
- 曾广泛应用于传统循环神经网络。
4.3 ReLU
ReLU(Rectified Linear Unit):
特点:
- 输入大于零时输出输入本身。
- 输入小于零时输出零。
- 计算简单,训练效率较高。
- 在很多前馈神经网络和卷积神经网络中广泛使用。
ReLU 的一个问题是死亡 ReLU(Dying ReLU)。
当神经元长期处于负值区域时,其梯度为零,可能无法继续通过梯度下降恢复。
4.4 Leaky ReLU
Leaky ReLU 在负值区域保留较小斜率:
其中 \alpha 是较小的正数。
它可以缓解 ReLU 在负值区域梯度为零的问题。
4.5 GELU
GELU(Gaussian Error Linear Unit)常用于 Transformer 等现代神经网络架构。
定义为:
其中 \Phi(x) 是标准正态分布的累积分布函数。
GELU 对输入进行平滑的非线性变换,相比 ReLU 不采用简单的硬阈值截断。
4.6 Softmax
Softmax 通常用于多分类任务的输出层。
对于输入向量:
Softmax 定义为:
输出满足:
因此可以将输出解释为互斥类别上的概率分布。
需要注意,Softmax 与 ReLU、GELU 等隐藏层激活函数的使用场景不同。它通常用于将分类模型的 Logits 转换为类别概率。
4.7 激活函数对比
| 激活函数 | 输出范围 | 主要特点 | 常见用途 |
|---|---|---|---|
| Sigmoid | (0, 1) | 概率形式输出,容易饱和 | 二分类输出层 |
| Tanh | (-1, 1) | 零中心,容易饱和 | 传统 RNN |
| ReLU | [0, +∞) | 简单高效,可能死亡 | CNN、MLP |
| Leaky ReLU | (-∞, +∞) | 负区间保留梯度 | 部分前馈网络 |
| GELU | (-∞, +∞) | 平滑非线性 | Transformer |
| Softmax | (0, 1) | 输出归一化概率分布 | 多分类输出层 |
五、神经网络的基本结构
神经网络通常由输入层、隐藏层和输出层组成。
5.1 输入层(Input Layer)
输入层负责接收原始数据或经过预处理的数据。
不同任务的输入形式不同:
- 表格数据:数值特征、类别特征等。
- 图像数据:像素矩阵或图像张量。
- 文本数据:Token ID、Embedding 向量。
- 音频数据:波形或频谱特征。
- 时间序列:按照时间排列的特征序列。
输入层本身通常不承担复杂的可学习变换,主要负责将输入数据传递给后续网络结构。
5.2 隐藏层(Hidden Layer)
隐藏层是神经网络学习特征表示的主要部分。
它由一个或多个计算层组成,通过权重、偏置和激活函数逐层处理数据。
例如:
每一层都会基于前一层的输出生成新的特征表示。
在很多网络中,浅层更容易学习局部、简单的模式,而深层可以组合这些表示,形成更抽象的特征。
但这并不意味着所有神经网络都严格按照由简单到复杂的方式学习,实际特征层次取决于网络架构、训练数据和优化过程。
5.3 输出层(Output Layer)
输出层负责将隐藏层的表示转换为任务所需的预测结果。
常见输出形式:
| 任务 | 输出形式 | 常见输出激活 |
|---|---|---|
| 回归 | 连续数值 | 线性输出 |
| 二分类 | 单个类别概率 | Sigmoid |
| 互斥多分类 | 多类别概率分布 | Softmax |
| 多标签分类 | 多个独立标签概率 | 多个 Sigmoid |
需要特别区分:
- 多分类:一个样本通常只属于一个类别。
- 多标签分类:一个样本可以同时具有多个标签。
因此,不能将 Softmax 作为所有分类任务的统一输出方式。
5.4 三层结构示意
flowchart LR
subgraph I["输入层"]
A1["特征 1"]
A2["特征 2"]
A3["特征 3"]
end
subgraph H["隐藏层"]
B1["神经元"]
B2["神经元"]
B3["神经元"]
B4["神经元"]
end
subgraph O["输出层"]
C1["预测结果"]
end
A1 --> B1
A1 --> B2
A1 --> B3
A1 --> B4
A2 --> B1
A2 --> B2
A2 --> B3
A2 --> B4
A3 --> B1
A3 --> B2
A3 --> B3
A3 --> B4
B1 --> C1
B2 --> C1
B3 --> C1
B4 --> C1
style A1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style A2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style A3 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B1 fill:#EAF3EC,stroke:#83A995,color:#315D49
style B2 fill:#EAF3EC,stroke:#83A995,color:#315D49
style B3 fill:#EAF3EC,stroke:#83A995,color:#315D49
style B4 fill:#EAF3EC,stroke:#83A995,color:#315D49
style C1 fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这是一个简化的全连接网络结构。真实神经网络可能包含数十层、数百层甚至更多计算模块,并且不一定采用全连接方式。
六、前向传播:神经网络如何计算输出?
前向传播(Forward Propagation)是输入数据从网络入口经过各层计算,最终生成预测结果的过程。
它是神经网络执行推理和训练计算的基础。
6.1 单层神经网络
对于一个输入向量:
一个全连接层可以表示为:
再经过激活函数:
其中:
- W:权重矩阵。
- x:输入向量。
- b:偏置向量。
- z:线性变换结果。
- a:激活后的输出。
6.2 多层神经网络
假设网络包含 L 个隐藏或输出计算层:
对于第 l 层:
最终得到:
其中:
- l:当前层编号。
- W^{(l)}:当前层权重矩阵。
- b^{(l)}:当前层偏置。
- a^{(l-1)}:上一层输出。
- f^{(l)}:当前层激活函数。
- \hat{y}:模型预测结果。
这组公式描述了标准前馈神经网络的基本计算过程。
6.3 张量维度
实际神经网络通常以矩阵或张量形式进行批量计算。
假设:
- Batch Size 为 B。
- 输入特征维度为 d_{in}。
- 输出特征维度为 d_{out}。
采用批量数据按行排列的约定:
那么:
得到:
这里的偏置 b 会沿 Batch 维度进行广播。
理解张量形状非常重要,因为神经网络的大部分计算都建立在矩阵乘法、张量运算和广播机制之上。
七、反向传播:神经网络如何学习参数?
神经网络的参数通常无法通过简单的规则直接确定,需要根据训练数据不断调整。
反向传播(Backpropagation)是训练神经网络的核心算法之一。
它通过链式法则,将最终损失对输出的影响逐层向前传递,计算每一层权重和偏置的梯度。
7.1 损失函数
损失函数用于衡量模型预测结果与真实目标之间的差异。
例如,回归任务常使用均方误差(MSE):
分类任务常使用交叉熵损失。
对于单个样本的多分类任务:
其中:
- y_i:真实类别的指示值。
- \hat{y}_i:模型预测的类别概率。
- C:类别数量。
损失函数将模型预测质量转化为可优化的数值目标。
7.2 链式法则
假设:
那么根据链式法则:
由于:
因此:
这说明损失函数对权重的梯度可以通过多个局部导数相乘得到。
对于多层网络,反向传播就是将这种计算规律系统化地应用到整个计算图。
7.3 反向传播的基本流程
flowchart TB
A["输入训练数据"] --> B["前向传播"]
B --> C["计算预测结果"]
C --> D["计算损失"]
D --> E["计算输出层梯度"]
E --> F["逐层反向传播"]
F --> G["计算各层参数梯度"]
G --> H["优化器更新参数"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
7.4 参数更新
计算梯度后,优化器根据梯度调整参数。
最基础的梯度下降更新公式:
其中:
- w_t:当前参数。
- \eta:学习率。
- \frac{\partial L}{\partial w_t}:当前参数的梯度。
- w_{t+1}:更新后的参数。
偏置参数也采用类似方式更新。
梯度下降的目标是沿着损失函数下降最快的局部方向调整参数。
实际深度学习训练中,常用优化器还包括:
- SGD。
- Momentum。
- RMSprop。
- Adam。
- AdamW。
其中 Adam 通过一阶和二阶梯度矩估计调整参数更新幅度;AdamW 将权重衰减与梯度更新进行解耦。
需要注意,反向传播负责计算梯度,SGD、Adam 等优化器负责使用梯度更新参数。
八、神经网络训练中的关键概念
理解神经网络不能只停留在网络结构,还需要掌握训练过程中的几个关键概念。
8.1 参数(Parameters)
参数是训练过程中由模型自动学习的数值。
典型参数包括:
- 权重矩阵。
- 偏置向量。
- 部分架构中的可学习嵌入向量。
- 归一化层中的可学习缩放与偏移参数。
参数数量通常是衡量模型规模的重要指标之一。
8.2 超参数(Hyperparameters)
超参数是训练前或训练过程中由开发者配置的控制变量。
常见超参数:
| 超参数 | 作用 |
|---|---|
| Learning Rate | 控制参数更新步长 |
| Batch Size | 每次参数更新使用的样本数量 |
| Epoch | 完整遍历训练集的次数 |
| Hidden Size | 隐藏层特征维度 |
| Number of Layers | 网络层数 |
| Dropout Rate | 随机失活比例 |
| Weight Decay | 权重衰减强度 |
参数与超参数的区别:
- 参数由训练过程学习。
- 超参数由训练配置或调参过程确定。
8.3 Batch、Iteration 与 Epoch
这三个概念容易混淆。
Batch: 一次送入模型进行计算的一批训练样本。
Iteration: 一次训练更新步骤,通常包含前向传播、损失计算、反向传播和优化器更新。
Epoch: 模型完整遍历一次训练数据集。
假设训练集有 10,000 条样本,Batch Size 为 100,且不丢弃最后一个不完整 Batch: