返回专栏
· 9 分钟阅读

神经元、权重、偏置与激活函数:深入理解神经网络的基本计算单元


一、引言

神经网络由大量相互连接的计算单元组成。虽然现代深度学习模型可能包含数十亿甚至更多参数,但其基础计算仍然建立在一些核心机制之上:

  • 神经元(Neuron):接收输入并执行计算的基本单元。
  • 权重(Weight):控制不同输入对计算结果的影响。
  • 偏置(Bias):调整神经元线性变换的偏移量。
  • 激活函数(Activation Function):引入非线性表达能力。

这四个概念共同构成了人工神经网络的基础。

理解它们,不仅有助于理解多层感知机(MLP),也是进一步学习 CNN、RNN、Transformer 和大语言模型的必要基础。


二、人工神经元:神经网络的基本计算单元

2.1 什么是人工神经元?

人工神经元(Artificial Neuron)是一种受生物神经元启发建立的数学计算模型。

它接收一个或多个输入,对输入进行加权求和,再经过激活函数,生成输出。

一个人工神经元可以抽象为两个阶段:

  1. 线性计算:对输入进行加权求和并加入偏置。
  2. 非线性变换:通过激活函数生成最终输出。

数学表达式:

z=\sum_{i=1}^{n}w_ix_i+b
a=f(z)

其中:

符号 含义
x_i 第 i 个输入
w_i 第 i 个输入对应的权重
b 偏置参数
z 线性计算结果
f 激活函数
a 神经元输出
n 输入特征数量

也可以将其写成:

a=f(W^Tx+b)

这里假设输入向量 x 和权重向量 W 都采用列向量表示。

2.2 神经元的计算过程

假设一个神经元有三个输入:

x_1=2,\quad x_2=3,\quad x_3=1

对应权重:

w_1=0.5,\quad w_2=0.2,\quad w_3=0.8

偏置:

b=0.1

首先进行加权求和:

z=0.5\times2+0.2\times3+0.8\times1+0.1
z=2.3

如果采用 ReLU 激活函数:

ReLU(z)=\max(0,z)

那么:

a=ReLU(2.3)=2.3

这就是一个人工神经元完成一次计算的过程。

2.3 神经元计算结构

flowchart TB
    A["输入特征 x1"] --> D["加权求和"]
    B["输入特征 x2"] --> D
    C["输入特征 xn"] --> D
    W["权重参数 W"] --> D
    P["偏置参数 b"] --> D
    D --> E["线性结果 z"]
    E --> F["激活函数 f"]
    F --> G["神经元输出 a"]

    style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style W fill:#EAF3EC,stroke:#83A995,color:#315D49
    style P fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意,人工神经元并不是对生物神经元的完整模拟,而是对部分信息处理思想进行数学抽象。


三、权重:决定输入影响程度的核心参数

3.1 什么是权重?

权重(Weight)是神经网络中最重要的可学习参数之一。

每个输入通常对应一个权重,用于控制该输入在加权求和中的贡献。

神经元的线性计算:

z=w_1x_1+w_2x_2+\cdots+w_nx_n+b

其中,权重决定输入变化对线性计算结果的影响。

对于某个输入 x_i,有:

\frac{\partial z}{\partial x_i}=w_i

这意味着,在其他输入保持不变时,权重决定该输入变化对 z 的局部影响程度。

3.2 权重的正负与大小

权重可以是正数、负数或零。

正权重:

输入增加时,线性计算结果通常增加。

w_i>0

负权重:

输入增加时,线性计算结果通常减少。

w_i<0

零权重:

该输入在当前神经元的线性计算中不产生直接贡献。

w_i=0

例如:

z=2x_1-3x_2+0.5x_3+b

可以看到:

  • x_1 对结果产生正向影响。
  • x_2 对结果产生负向影响。
  • x_3 的影响相对较小。

这里描述的是线性计算中的局部影响,不代表输入特征与最终预测之间必然存在相同方向的因果关系。

3.3 权重为什么需要训练?

神经网络刚开始训练时,权重通常通过随机初始化或特定初始化策略设置。

此时模型还没有学到任务所需要的映射关系。

训练过程中,模型根据损失函数计算权重梯度,再由优化器调整权重。

基本更新公式:

w_{t+1}=w_t-\eta\frac{\partial L}{\partial w_t}

其中:

  • w_t:当前权重。
  • \eta:学习率。
  • L:损失函数。
  • \frac{\partial L}{\partial w_t}:损失对权重的梯度。

当模型预测结果与目标之间存在较大差异时,损失函数会产生相应梯度,优化器利用梯度调整权重。

经过大量训练迭代,权重逐渐形成适合当前任务的数值组合。

3.4 权重初始化

权重初始化会影响神经网络训练初期的数值分布和梯度传播。

常见初始化方法:

初始化方法 核心思想 常见场景
Zero Initialization 将参数初始化为零 不适合普通隐藏层权重
Random Initialization 随机生成初始参数 需要配合合理的分布
Xavier Initialization 根据输入、输出维度控制方差 Sigmoid、Tanh 等激活函数
He Initialization 根据输入维度控制方差 ReLU 及其变体

需要特别注意:

隐藏层的所有神经元不能简单地使用相同权重初始化。

如果同一层所有神经元具有完全相同的初始参数,并且结构和计算过程相同,那么它们会产生相同的输出和梯度,无法通过训练形成不同的特征表示。

这称为对称性问题(Symmetry Problem)。

随机初始化的重要作用之一,就是打破这种对称性。


四、偏置:调整神经元的线性变换

4.1 什么是偏置?

偏置(Bias)是神经网络中的可学习参数,用于调整线性计算结果的偏移量。

神经元的计算公式:

z=Wx+b

其中 b 就是偏置。

如果没有偏置:

z=Wx

线性变换必须经过原点。

加入偏置后:

z=Wx+b

模型可以学习更加灵活的线性变换。

4.2 偏置的几何意义

对于一个只有一个输入的神经元:

z=wx+b

这是一个直线函数。

其中:

  • w 决定直线斜率。
  • b 决定直线在纵轴上的截距。

例如:

z=2x+1

与:

z=2x-3

两条直线具有相同斜率,但由于偏置不同,位置发生了平移。

对于二维输入:

z=w_1x_1+w_2x_2+b

当 z=0 时,可以得到一个线性决策边界。

偏置能够调整该边界的位置。

4.3 没有偏置会有什么问题?

假设模型需要学习:

y=2x+5

如果模型只有:

y=wx

那么无论如何调整 w,都无法准确表示这个函数。

因为模型只能学习经过原点的直线。

如果加入偏置:

y=wx+b

就可以学习:

w=2,\quad b=5

因此,偏置能够提高模型对数据关系的表达灵活性。

4.4 偏置与权重的区别

对比维度 权重 Weight 偏置 Bias
主要作用 调整输入的贡献 调整线性变换的偏移
是否依赖输入 与输入相乘 独立加入
数量 通常每个输入连接对应一个 通常每个输出神经元一个
是否可学习 是 是
影响 改变斜率、方向和特征组合 改变截距和决策边界位置

权重和偏置共同决定神经元的线性变换。


五、激活函数:让神经网络具备非线性表达能力

5.1 什么是激活函数?

激活函数(Activation Function)是应用于神经元线性计算结果的函数。

其基本形式:

a=f(z)

其中:

z=Wx+b

激活函数将线性计算结果转换为新的输出表示。

它最重要的作用是:

为神经网络引入非线性,使模型能够学习复杂的输入与输出关系。

5.2 为什么不能只使用线性计算?

假设一个神经网络包含三层线性计算:

h_1=W_1x+b_1
h_2=W_2h_1+b_2
y=W_3h_2+b_3

将前面的表达式代入:

y=W_3[W_2(W_1x+b_1)+b_2]+b_3

整理后仍然可以表示为:

y=Wx+b

也就是说,无论堆叠多少层线性变换,最终仍然是一个线性变换。

网络虽然层数增加了,但没有获得更强的非线性表达能力。

因此,需要在计算层之间引入激活函数:

h_1=f(W_1x+b_1)
h_2=f(W_2h_1+b_2)
y=f(W_3h_2+b_3)

这样网络才能构建复杂的非线性映射。

5.3 激活函数的主要类型

1. Sigmoid

公式:

\sigma(x)=\frac{1}{1+e^{-x}}

输出范围:

(0,1)

特点:

  • 输出范围在 0 和 1 之间。
  • 函数连续且可导。
  • 输出可以用于表示二分类概率。
  • 在输入绝对值较大时容易发生梯度饱和。
  • 不以零为中心。

导数:

\sigma'(x)=\sigma(x)(1-\sigma(x))

当输入很大或很小时,导数接近零,容易造成梯度消失。

常见用途:

  • 二分类输出层。
  • 多标签分类中各标签的独立输出。

2. Tanh

公式:

\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}

输出范围:

(-1,1)

特点:

  • 输出以零为中心。
  • 能够表达正值和负值。
  • 相比 Sigmoid,零中心特性有时有利于优化。
  • 两端仍然容易出现梯度饱和。

常见用途:

  • 传统循环神经网络。
  • 某些需要有界正负输出的计算模块。

3. ReLU

公式:

ReLU(x)=\max(0,x)

分段表达:

ReLU(x)= \begin{cases} 0,&x\leq0\\ x,&x>0 \end{cases}

特点:

  • 计算简单。
  • 正数区域梯度为 1。
  • 负数区域输出为 0。
  • 在很多深度神经网络中表现良好。
  • 可能出现死亡 ReLU 问题。

死亡 ReLU(Dying ReLU)是指神经元长期处于负值区域,梯度持续为零,导致参数难以通过梯度下降恢复。

4. Leaky ReLU

公式:

f(x)= \begin{cases} x,&x>0\\ \alpha x,&x\leq0 \end{cases}

其中 \alpha 是一个较小的正数。

特点:

  • 负数区域保留较小梯度。
  • 能够缓解部分死亡 ReLU 问题。
  • 仍然保持较低的计算复杂度。

5. GELU

GELU(Gaussian Error Linear Unit):

GELU(x)=x\Phi(x)

其中 \Phi(x) 为标准正态分布的累积分布函数。

特点:

  • 平滑的非线性变换。
  • 不采用 ReLU 的硬阈值截断。
  • 在现代 Transformer 架构中广泛使用。

6. SiLU

SiLU(Sigmoid Linear Unit):

SiLU(x)=x\sigma(x)

特点:

  • 平滑且非单调。
  • 结合输入值与 Sigmoid 门控。
  • 常用于现代深度学习网络。

例如,部分现代卷积网络和 Transformer 变体会使用 SiLU 或其相关形式。

5.4 激活函数对比

激活函数 输出范围 主要优点 主要问题
Sigmoid (0, 1) 适合概率形式输出 梯度饱和
Tanh (-1, 1) 零中心 梯度饱和
ReLU [0, +∞) 计算简单、训练效率高 死亡 ReLU
Leaky ReLU (-∞, +∞) 负区间保留梯度 负区间斜率需要设置
GELU (-∞, +∞) 平滑非线性 计算相对复杂
SiLU (-∞, +∞) 平滑、非单调 计算相对复杂

5.5 激活函数的选择原则

不同网络架构和任务可能采用不同激活函数。

常见选择:

  • 普通 MLP 隐藏层:ReLU、GELU、SiLU。
  • CNN 隐藏层:ReLU、SiLU 等。
  • 传统 RNN:Tanh、Sigmoid 门控。
  • Transformer:GELU、ReLU、SwiGLU 等。
  • 二分类输出层:Sigmoid。
  • 互斥多分类输出层:Softmax。
  • 回归输出层:通常采用线性输出。

需要注意,Softmax 通常不是普通隐藏层激活函数,而是将一组 Logits 转换为归一化概率分布的输出操作。


六、四个核心概念如何协同工作?

神经元、权重、偏置与激活函数不是相互独立的技术,而是共同构成一个完整的计算单元。

其计算过程:

  1. 接收输入特征。
  2. 将输入与权重相乘。
  3. 对所有加权结果求和。
  4. 加入偏置。
  5. 将计算结果传入激活函数。
  6. 输出新的特征表示。

整体表达式:

a=f(W^Tx+b)

6.1 完整计算过程

flowchart TB
    A["输入特征 x"] --> B["与权重 W 相乘"]
    B --> C["加权求和"]
    D["偏置 b"] --> E["加入偏置"]
    C --> E
    E --> F["得到线性结果 z"]
    F --> G["执行激活函数 f"]
    G --> H["输出特征 a"]

    style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49