一、引言
神经网络由大量相互连接的计算单元组成。虽然现代深度学习模型可能包含数十亿甚至更多参数,但其基础计算仍然建立在一些核心机制之上:
- 神经元(Neuron):接收输入并执行计算的基本单元。
- 权重(Weight):控制不同输入对计算结果的影响。
- 偏置(Bias):调整神经元线性变换的偏移量。
- 激活函数(Activation Function):引入非线性表达能力。
这四个概念共同构成了人工神经网络的基础。
理解它们,不仅有助于理解多层感知机(MLP),也是进一步学习 CNN、RNN、Transformer 和大语言模型的必要基础。
二、人工神经元:神经网络的基本计算单元
2.1 什么是人工神经元?
人工神经元(Artificial Neuron)是一种受生物神经元启发建立的数学计算模型。
它接收一个或多个输入,对输入进行加权求和,再经过激活函数,生成输出。
一个人工神经元可以抽象为两个阶段:
- 线性计算:对输入进行加权求和并加入偏置。
- 非线性变换:通过激活函数生成最终输出。
数学表达式:
其中:
| 符号 | 含义 |
|---|---|
| x_i | 第 i 个输入 |
| w_i | 第 i 个输入对应的权重 |
| b | 偏置参数 |
| z | 线性计算结果 |
| f | 激活函数 |
| a | 神经元输出 |
| n | 输入特征数量 |
也可以将其写成:
这里假设输入向量 x 和权重向量 W 都采用列向量表示。
2.2 神经元的计算过程
假设一个神经元有三个输入:
对应权重:
偏置:
首先进行加权求和:
如果采用 ReLU 激活函数:
那么:
这就是一个人工神经元完成一次计算的过程。
2.3 神经元计算结构
flowchart TB
A["输入特征 x1"] --> D["加权求和"]
B["输入特征 x2"] --> D
C["输入特征 xn"] --> D
W["权重参数 W"] --> D
P["偏置参数 b"] --> D
D --> E["线性结果 z"]
E --> F["激活函数 f"]
F --> G["神经元输出 a"]
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style W fill:#EAF3EC,stroke:#83A995,color:#315D49
style P fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,人工神经元并不是对生物神经元的完整模拟,而是对部分信息处理思想进行数学抽象。
三、权重:决定输入影响程度的核心参数
3.1 什么是权重?
权重(Weight)是神经网络中最重要的可学习参数之一。
每个输入通常对应一个权重,用于控制该输入在加权求和中的贡献。
神经元的线性计算:
其中,权重决定输入变化对线性计算结果的影响。
对于某个输入 x_i,有:
这意味着,在其他输入保持不变时,权重决定该输入变化对 z 的局部影响程度。
3.2 权重的正负与大小
权重可以是正数、负数或零。
正权重:
输入增加时,线性计算结果通常增加。
负权重:
输入增加时,线性计算结果通常减少。
零权重:
该输入在当前神经元的线性计算中不产生直接贡献。
例如:
可以看到:
- x_1 对结果产生正向影响。
- x_2 对结果产生负向影响。
- x_3 的影响相对较小。
这里描述的是线性计算中的局部影响,不代表输入特征与最终预测之间必然存在相同方向的因果关系。
3.3 权重为什么需要训练?
神经网络刚开始训练时,权重通常通过随机初始化或特定初始化策略设置。
此时模型还没有学到任务所需要的映射关系。
训练过程中,模型根据损失函数计算权重梯度,再由优化器调整权重。
基本更新公式:
其中:
- w_t:当前权重。
- \eta:学习率。
- L:损失函数。
- \frac{\partial L}{\partial w_t}:损失对权重的梯度。
当模型预测结果与目标之间存在较大差异时,损失函数会产生相应梯度,优化器利用梯度调整权重。
经过大量训练迭代,权重逐渐形成适合当前任务的数值组合。
3.4 权重初始化
权重初始化会影响神经网络训练初期的数值分布和梯度传播。
常见初始化方法:
| 初始化方法 | 核心思想 | 常见场景 |
|---|---|---|
| Zero Initialization | 将参数初始化为零 | 不适合普通隐藏层权重 |
| Random Initialization | 随机生成初始参数 | 需要配合合理的分布 |
| Xavier Initialization | 根据输入、输出维度控制方差 | Sigmoid、Tanh 等激活函数 |
| He Initialization | 根据输入维度控制方差 | ReLU 及其变体 |
需要特别注意:
隐藏层的所有神经元不能简单地使用相同权重初始化。
如果同一层所有神经元具有完全相同的初始参数,并且结构和计算过程相同,那么它们会产生相同的输出和梯度,无法通过训练形成不同的特征表示。
这称为对称性问题(Symmetry Problem)。
随机初始化的重要作用之一,就是打破这种对称性。
四、偏置:调整神经元的线性变换
4.1 什么是偏置?
偏置(Bias)是神经网络中的可学习参数,用于调整线性计算结果的偏移量。
神经元的计算公式:
其中 b 就是偏置。
如果没有偏置:
线性变换必须经过原点。
加入偏置后:
模型可以学习更加灵活的线性变换。
4.2 偏置的几何意义
对于一个只有一个输入的神经元:
这是一个直线函数。
其中:
- w 决定直线斜率。
- b 决定直线在纵轴上的截距。
例如:
与:
两条直线具有相同斜率,但由于偏置不同,位置发生了平移。
对于二维输入:
当 z=0 时,可以得到一个线性决策边界。
偏置能够调整该边界的位置。
4.3 没有偏置会有什么问题?
假设模型需要学习:
如果模型只有:
那么无论如何调整 w,都无法准确表示这个函数。
因为模型只能学习经过原点的直线。
如果加入偏置:
就可以学习:
因此,偏置能够提高模型对数据关系的表达灵活性。
4.4 偏置与权重的区别
| 对比维度 | 权重 Weight | 偏置 Bias |
|---|---|---|
| 主要作用 | 调整输入的贡献 | 调整线性变换的偏移 |
| 是否依赖输入 | 与输入相乘 | 独立加入 |
| 数量 | 通常每个输入连接对应一个 | 通常每个输出神经元一个 |
| 是否可学习 | 是 | 是 |
| 影响 | 改变斜率、方向和特征组合 | 改变截距和决策边界位置 |
权重和偏置共同决定神经元的线性变换。
五、激活函数:让神经网络具备非线性表达能力
5.1 什么是激活函数?
激活函数(Activation Function)是应用于神经元线性计算结果的函数。
其基本形式:
其中:
激活函数将线性计算结果转换为新的输出表示。
它最重要的作用是:
为神经网络引入非线性,使模型能够学习复杂的输入与输出关系。
5.2 为什么不能只使用线性计算?
假设一个神经网络包含三层线性计算:
将前面的表达式代入:
整理后仍然可以表示为:
也就是说,无论堆叠多少层线性变换,最终仍然是一个线性变换。
网络虽然层数增加了,但没有获得更强的非线性表达能力。
因此,需要在计算层之间引入激活函数:
这样网络才能构建复杂的非线性映射。
5.3 激活函数的主要类型
1. Sigmoid
公式:
输出范围:
特点:
- 输出范围在 0 和 1 之间。
- 函数连续且可导。
- 输出可以用于表示二分类概率。
- 在输入绝对值较大时容易发生梯度饱和。
- 不以零为中心。
导数:
当输入很大或很小时,导数接近零,容易造成梯度消失。
常见用途:
- 二分类输出层。
- 多标签分类中各标签的独立输出。
2. Tanh
公式:
输出范围:
特点:
- 输出以零为中心。
- 能够表达正值和负值。
- 相比 Sigmoid,零中心特性有时有利于优化。
- 两端仍然容易出现梯度饱和。
常见用途:
- 传统循环神经网络。
- 某些需要有界正负输出的计算模块。
3. ReLU
公式:
分段表达:
特点:
- 计算简单。
- 正数区域梯度为 1。
- 负数区域输出为 0。
- 在很多深度神经网络中表现良好。
- 可能出现死亡 ReLU 问题。
死亡 ReLU(Dying ReLU)是指神经元长期处于负值区域,梯度持续为零,导致参数难以通过梯度下降恢复。
4. Leaky ReLU
公式:
其中 \alpha 是一个较小的正数。
特点:
- 负数区域保留较小梯度。
- 能够缓解部分死亡 ReLU 问题。
- 仍然保持较低的计算复杂度。
5. GELU
GELU(Gaussian Error Linear Unit):
其中 \Phi(x) 为标准正态分布的累积分布函数。
特点:
- 平滑的非线性变换。
- 不采用 ReLU 的硬阈值截断。
- 在现代 Transformer 架构中广泛使用。
6. SiLU
SiLU(Sigmoid Linear Unit):
特点:
- 平滑且非单调。
- 结合输入值与 Sigmoid 门控。
- 常用于现代深度学习网络。
例如,部分现代卷积网络和 Transformer 变体会使用 SiLU 或其相关形式。
5.4 激活函数对比
| 激活函数 | 输出范围 | 主要优点 | 主要问题 |
|---|---|---|---|
| Sigmoid | (0, 1) | 适合概率形式输出 | 梯度饱和 |
| Tanh | (-1, 1) | 零中心 | 梯度饱和 |
| ReLU | [0, +∞) | 计算简单、训练效率高 | 死亡 ReLU |
| Leaky ReLU | (-∞, +∞) | 负区间保留梯度 | 负区间斜率需要设置 |
| GELU | (-∞, +∞) | 平滑非线性 | 计算相对复杂 |
| SiLU | (-∞, +∞) | 平滑、非单调 | 计算相对复杂 |
5.5 激活函数的选择原则
不同网络架构和任务可能采用不同激活函数。
常见选择:
- 普通 MLP 隐藏层:ReLU、GELU、SiLU。
- CNN 隐藏层:ReLU、SiLU 等。
- 传统 RNN:Tanh、Sigmoid 门控。
- Transformer:GELU、ReLU、SwiGLU 等。
- 二分类输出层:Sigmoid。
- 互斥多分类输出层:Softmax。
- 回归输出层:通常采用线性输出。
需要注意,Softmax 通常不是普通隐藏层激活函数,而是将一组 Logits 转换为归一化概率分布的输出操作。
六、四个核心概念如何协同工作?
神经元、权重、偏置与激活函数不是相互独立的技术,而是共同构成一个完整的计算单元。
其计算过程:
- 接收输入特征。
- 将输入与权重相乘。
- 对所有加权结果求和。
- 加入偏置。
- 将计算结果传入激活函数。
- 输出新的特征表示。
整体表达式:
6.1 完整计算过程
flowchart TB
A["输入特征 x"] --> B["与权重 W 相乘"]
B --> C["加权求和"]
D["偏置 b"] --> E["加入偏置"]
C --> E
E --> F["得到线性结果 z"]
F --> G["执行激活函数 f"]
G --> H["输出特征 a"]
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49