返回专栏
· 15 分钟阅读

什么是神经网络?从神经元模型到深度学习的核心原理


一、神经网络的基本概念

神经网络(Neural Network)是一类受生物神经系统启发、以参数化计算单元为基础的机器学习模型。

它通过多个神经元(Neuron)组成计算层,将输入数据经过一系列线性变换和非线性变换,逐步提取特征、建立数据与目标之间的映射关系,最终完成分类、回归、生成等任务。

神经网络是深度学习(Deep Learning)的核心基础。

需要明确几个概念:

概念 含义
神经元(Neuron) 执行加权求和与非线性变换的基本计算单元
权重(Weight) 控制输入特征对计算结果影响程度的参数
偏置(Bias) 加入线性变换的可学习参数
激活函数(Activation Function) 为神经网络引入非线性能力
网络层(Layer) 由一组神经元或张量运算构成的计算阶段
前向传播(Forward Propagation) 输入经过网络逐层计算得到输出的过程
损失函数(Loss Function) 衡量模型预测结果与目标之间差异的函数
反向传播(Backpropagation) 利用链式法则计算损失对模型参数的梯度
优化器(Optimizer) 根据梯度更新模型参数的算法

神经网络的核心思想可以概括为:

通过大量可学习参数和非线性计算,构建一个能够从数据中学习复杂映射关系的模型。


二、神经网络为什么能够学习?

传统程序通常由开发者明确编写处理规则:

输入数据
    ↓
执行预先定义的规则
    ↓
输出结果

神经网络则采用不同的方式。

开发者定义网络结构、损失函数和训练方法,模型通过训练数据不断调整内部参数,使预测结果逐渐接近目标。

例如,识别一张图片是否包含猫:

  • 输入:图片像素数据。
  • 输出:图片属于猫这一类别的概率。
  • 参数:神经网络内部的权重和偏置。
  • 训练目标:降低预测结果与真实标签之间的损失。

模型并不是由开发者逐条编写猫的识别规则,而是通过大量样本学习能够区分不同类别的特征表示。

2.1 神经网络的基本学习过程

flowchart TB
    A["输入训练数据"] --> B["神经网络前向传播"]
    B --> C["生成预测结果"]
    C --> D["计算损失函数"]
    D --> E["反向传播计算梯度"]
    E --> F["优化器更新参数"]
    F --> G{"是否达到停止条件"}
    G -->|"否"| B
    G -->|"是"| H["得到训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这个过程会重复执行多个训练步骤,直到达到预设的训练轮数、损失阈值、验证集停止条件或其他停止标准。

需要注意:

  • 前向传播负责计算预测结果。
  • 损失函数负责衡量预测误差。
  • 反向传播负责计算梯度。
  • 优化器负责更新参数。

反向传播和参数优化是两个不同的环节,不能将它们混为一谈。


三、人工神经元:神经网络的基本计算单元

人工神经元(Artificial Neuron)是神经网络中最基础的计算单元。

它接收多个输入,对输入进行加权求和,再通过激活函数产生输出。

3.1 神经元的数学表达式

假设一个神经元接收 n 个输入:

x_1,x_2,\ldots,x_n

每个输入对应一个权重:

w_1,w_2,\ldots,w_n

同时存在一个偏置参数 b。

首先计算线性组合:

z=\sum_{i=1}^{n}w_ix_i+b

然后经过激活函数:

a=f(z)

其中:

  • x_i:输入特征。
  • w_i:输入对应的权重。
  • b:偏置。
  • z:加权求和结果。
  • f:激活函数。
  • a:神经元最终输出。

整体过程:

flowchart TB
    A["输入特征 x1"] --> D["加权求和"]
    B["输入特征 x2"] --> D
    C["输入特征 xn"] --> D
    W["权重参数 W"] --> D
    P["偏置参数 b"] --> D
    D --> E["线性结果 z"]
    E --> F["激活函数 f"]
    F --> G["输出 a"]

    style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style W fill:#EAF3EC,stroke:#83A995,color:#315D49
    style P fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

3.2 权重的作用

权重决定不同输入特征对神经元输出的影响程度。

例如:

z=0.8x_1+0.2x_2+b

这里:

  • x_1 的权重为 0.8。
  • x_2 的权重为 0.2。

在其他条件相同的情况下,x_1 对线性结果的影响更大。

权重是神经网络训练过程中需要学习的核心参数。

模型通过调整权重,逐渐改变输入特征与输出结果之间的映射关系。

需要注意,权重大小不能直接等同于特征重要性。输入特征的量纲、相关性、网络结构以及非线性作用都会影响实际解释。

3.3 偏置的作用

偏置允许神经元在输入为零时仍然具有非零的线性输出。

z=wx+b

如果没有偏置:

z=wx

线性变换必须经过原点,表达能力会受到限制。

加入偏置后,模型可以调整线性变换的位置,使其具有更大的拟合能力。

3.4 为什么需要激活函数?

这是理解神经网络最重要的基础之一。

如果神经网络只包含线性变换,那么无论堆叠多少层,最终仍然只是一个线性变换。

例如:

h_1=W_1x+b_1
h_2=W_2h_1+b_2

代入得到:

h_2=W_2(W_1x+b_1)+b_2

整理后:

h_2=W_2W_1x+W_2b_1+b_2

仍然可以写成:

h_2=Wx+b

这意味着多层线性计算并不会自动获得复杂的非线性表达能力。

因此,神经网络需要在层与层之间引入非线性激活函数。

激活函数使网络能够学习更加复杂的映射关系,是深度神经网络具备强大表达能力的重要原因。


四、常见激活函数

激活函数决定神经元如何将线性计算结果转换为输出。

不同激活函数具有不同的数值范围、梯度特性和适用场景。

4.1 Sigmoid

Sigmoid 函数:

\sigma(x)=\frac{1}{1+e^{-x}}

输出范围:

0<\sigma(x)<1

特点:

  • 将任意实数映射到 0 到 1 之间。
  • 输出可以解释为概率形式,但是否具有良好概率校准还取决于模型和训练过程。
  • 常用于二分类模型的输出层。
  • 在较大正值或负值区域容易出现梯度饱和。

导数:

\sigma'(x)=\sigma(x)(1-\sigma(x))

当输入绝对值较大时,导数趋近于零,可能导致梯度消失。

4.2 Tanh

双曲正切函数:

\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}

输出范围:

-1<\tanh(x)<1

特点:

  • 输出以零为中心。
  • 相比 Sigmoid,输出包含正值和负值。
  • 在较大正值或负值区域同样存在梯度饱和问题。
  • 曾广泛应用于传统循环神经网络。

4.3 ReLU

ReLU(Rectified Linear Unit):

ReLU(x)=\max(0,x)

特点:

  • 输入大于零时输出输入本身。
  • 输入小于零时输出零。
  • 计算简单,训练效率较高。
  • 在很多前馈神经网络和卷积神经网络中广泛使用。

ReLU 的一个问题是死亡 ReLU(Dying ReLU)。

当神经元长期处于负值区域时,其梯度为零,可能无法继续通过梯度下降恢复。

4.4 Leaky ReLU

Leaky ReLU 在负值区域保留较小斜率:

f(x)= \begin{cases} x,&x>0\\ \alpha x,&x\leq0 \end{cases}

其中 \alpha 是较小的正数。

它可以缓解 ReLU 在负值区域梯度为零的问题。

4.5 GELU

GELU(Gaussian Error Linear Unit)常用于 Transformer 等现代神经网络架构。

定义为:

GELU(x)=x\Phi(x)

其中 \Phi(x) 是标准正态分布的累积分布函数。

GELU 对输入进行平滑的非线性变换,相比 ReLU 不采用简单的硬阈值截断。

4.6 Softmax

Softmax 通常用于多分类任务的输出层。

对于输入向量:

z=[z_1,z_2,\ldots,z_n]

Softmax 定义为:

Softmax(z_i)= \frac{e^{z_i}}{\sum_{j=1}^{n}e^{z_j}}

输出满足:

\sum_{i=1}^{n}Softmax(z_i)=1

因此可以将输出解释为互斥类别上的概率分布。

需要注意,Softmax 与 ReLU、GELU 等隐藏层激活函数的使用场景不同。它通常用于将分类模型的 Logits 转换为类别概率。

4.7 激活函数对比

激活函数 输出范围 主要特点 常见用途
Sigmoid (0, 1) 概率形式输出,容易饱和 二分类输出层
Tanh (-1, 1) 零中心,容易饱和 传统 RNN
ReLU [0, +∞) 简单高效,可能死亡 CNN、MLP
Leaky ReLU (-∞, +∞) 负区间保留梯度 部分前馈网络
GELU (-∞, +∞) 平滑非线性 Transformer
Softmax (0, 1) 输出归一化概率分布 多分类输出层

五、神经网络的基本结构

神经网络通常由输入层、隐藏层和输出层组成。

5.1 输入层(Input Layer)

输入层负责接收原始数据或经过预处理的数据。

不同任务的输入形式不同:

  • 表格数据:数值特征、类别特征等。
  • 图像数据:像素矩阵或图像张量。
  • 文本数据:Token ID、Embedding 向量。
  • 音频数据:波形或频谱特征。
  • 时间序列:按照时间排列的特征序列。

输入层本身通常不承担复杂的可学习变换,主要负责将输入数据传递给后续网络结构。

5.2 隐藏层(Hidden Layer)

隐藏层是神经网络学习特征表示的主要部分。

它由一个或多个计算层组成,通过权重、偏置和激活函数逐层处理数据。

例如:

h_1=f(W_1x+b_1)
h_2=f(W_2h_1+b_2)
h_3=f(W_3h_2+b_3)

每一层都会基于前一层的输出生成新的特征表示。

在很多网络中,浅层更容易学习局部、简单的模式,而深层可以组合这些表示,形成更抽象的特征。

但这并不意味着所有神经网络都严格按照由简单到复杂的方式学习,实际特征层次取决于网络架构、训练数据和优化过程。

5.3 输出层(Output Layer)

输出层负责将隐藏层的表示转换为任务所需的预测结果。

常见输出形式:

任务 输出形式 常见输出激活
回归 连续数值 线性输出
二分类 单个类别概率 Sigmoid
互斥多分类 多类别概率分布 Softmax
多标签分类 多个独立标签概率 多个 Sigmoid

需要特别区分:

  • 多分类:一个样本通常只属于一个类别。
  • 多标签分类:一个样本可以同时具有多个标签。

因此,不能将 Softmax 作为所有分类任务的统一输出方式。

5.4 三层结构示意

flowchart LR
    subgraph I["输入层"]
        A1["特征 1"]
        A2["特征 2"]
        A3["特征 3"]
    end

    subgraph H["隐藏层"]
        B1["神经元"]
        B2["神经元"]
        B3["神经元"]
        B4["神经元"]
    end

    subgraph O["输出层"]
        C1["预测结果"]
    end

    A1 --> B1
    A1 --> B2
    A1 --> B3
    A1 --> B4
    A2 --> B1
    A2 --> B2
    A2 --> B3
    A2 --> B4
    A3 --> B1
    A3 --> B2
    A3 --> B3
    A3 --> B4
    B1 --> C1
    B2 --> C1
    B3 --> C1
    B4 --> C1

    style A1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style A2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style A3 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B1 fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B2 fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B3 fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B4 fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C1 fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这是一个简化的全连接网络结构。真实神经网络可能包含数十层、数百层甚至更多计算模块,并且不一定采用全连接方式。


六、前向传播:神经网络如何计算输出?

前向传播(Forward Propagation)是输入数据从网络入口经过各层计算,最终生成预测结果的过程。

它是神经网络执行推理和训练计算的基础。

6.1 单层神经网络

对于一个输入向量:

x\in\mathbb{R}^{n}

一个全连接层可以表示为:

z=Wx+b

再经过激活函数:

a=f(z)

其中:

  • W:权重矩阵。
  • x:输入向量。
  • b:偏置向量。
  • z:线性变换结果。
  • a:激活后的输出。

6.2 多层神经网络

假设网络包含 L 个隐藏或输出计算层:

a^{(0)}=x

对于第 l 层:

z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)}
a^{(l)}=f^{(l)}(z^{(l)})

最终得到:

\hat{y}=a^{(L)}

其中:

  • l:当前层编号。
  • W^{(l)}:当前层权重矩阵。
  • b^{(l)}:当前层偏置。
  • a^{(l-1)}:上一层输出。
  • f^{(l)}:当前层激活函数。
  • \hat{y}:模型预测结果。

这组公式描述了标准前馈神经网络的基本计算过程。

6.3 张量维度

实际神经网络通常以矩阵或张量形式进行批量计算。

假设:

  • Batch Size 为 B。
  • 输入特征维度为 d_{in}。
  • 输出特征维度为 d_{out}。

采用批量数据按行排列的约定:

X\in\mathbb{R}^{B\times d_{in}}
W\in\mathbb{R}^{d_{in}\times d_{out}}
b\in\mathbb{R}^{d_{out}}

那么:

Z=XW+b

得到:

Z\in\mathbb{R}^{B\times d_{out}}

这里的偏置 b 会沿 Batch 维度进行广播。

理解张量形状非常重要,因为神经网络的大部分计算都建立在矩阵乘法、张量运算和广播机制之上。


七、反向传播:神经网络如何学习参数?

神经网络的参数通常无法通过简单的规则直接确定,需要根据训练数据不断调整。

反向传播(Backpropagation)是训练神经网络的核心算法之一。

它通过链式法则,将最终损失对输出的影响逐层向前传递,计算每一层权重和偏置的梯度。

7.1 损失函数

损失函数用于衡量模型预测结果与真实目标之间的差异。

例如,回归任务常使用均方误差(MSE):

L=\frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i-y_i)^2

分类任务常使用交叉熵损失。

对于单个样本的多分类任务:

L=-\sum_{i=1}^{C}y_i\log(\hat{y}_i)

其中:

  • y_i:真实类别的指示值。
  • \hat{y}_i:模型预测的类别概率。
  • C:类别数量。

损失函数将模型预测质量转化为可优化的数值目标。

7.2 链式法则

假设:

z=wx+b
a=f(z)
L=L(a)

那么根据链式法则:

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w}

由于:

\frac{\partial z}{\partial w}=x

因此:

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot f'(z)\cdot x

这说明损失函数对权重的梯度可以通过多个局部导数相乘得到。

对于多层网络,反向传播就是将这种计算规律系统化地应用到整个计算图。

7.3 反向传播的基本流程

flowchart TB
    A["输入训练数据"] --> B["前向传播"]
    B --> C["计算预测结果"]
    C --> D["计算损失"]
    D --> E["计算输出层梯度"]
    E --> F["逐层反向传播"]
    F --> G["计算各层参数梯度"]
    G --> H["优化器更新参数"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

7.4 参数更新

计算梯度后,优化器根据梯度调整参数。

最基础的梯度下降更新公式:

w_{t+1}=w_t-\eta\frac{\partial L}{\partial w_t}

其中:

  • w_t:当前参数。
  • \eta:学习率。
  • \frac{\partial L}{\partial w_t}:当前参数的梯度。
  • w_{t+1}:更新后的参数。

偏置参数也采用类似方式更新。

梯度下降的目标是沿着损失函数下降最快的局部方向调整参数。

实际深度学习训练中,常用优化器还包括:

  • SGD。
  • Momentum。
  • RMSprop。
  • Adam。
  • AdamW。

其中 Adam 通过一阶和二阶梯度矩估计调整参数更新幅度;AdamW 将权重衰减与梯度更新进行解耦。

需要注意,反向传播负责计算梯度,SGD、Adam 等优化器负责使用梯度更新参数。


八、神经网络训练中的关键概念

理解神经网络不能只停留在网络结构,还需要掌握训练过程中的几个关键概念。

8.1 参数(Parameters)

参数是训练过程中由模型自动学习的数值。

典型参数包括:

  • 权重矩阵。
  • 偏置向量。
  • 部分架构中的可学习嵌入向量。
  • 归一化层中的可学习缩放与偏移参数。

参数数量通常是衡量模型规模的重要指标之一。

8.2 超参数(Hyperparameters)

超参数是训练前或训练过程中由开发者配置的控制变量。

常见超参数:

超参数 作用
Learning Rate 控制参数更新步长
Batch Size 每次参数更新使用的样本数量
Epoch 完整遍历训练集的次数
Hidden Size 隐藏层特征维度
Number of Layers 网络层数
Dropout Rate 随机失活比例
Weight Decay 权重衰减强度

参数与超参数的区别:

  • 参数由训练过程学习。
  • 超参数由训练配置或调参过程确定。

8.3 Batch、Iteration 与 Epoch

这三个概念容易混淆。

Batch: 一次送入模型进行计算的一批训练样本。

Iteration: 一次训练更新步骤,通常包含前向传播、损失计算、反向传播和优化器更新。

Epoch: 模型完整遍历一次训练数据集。

假设训练集有 10,000 条样本,Batch Size 为 100,且不丢弃最后一个不完整 Batch: