一、什么是 CNN?
CNN(Convolutional Neural Network,卷积神经网络)是一类以卷积运算为核心的深度学习模型,主要用于处理具有网格结构的数据。
最典型的应用是图像处理。
一张 RGB 图像可以表示为一个三维张量:
其中:
- H:图像高度。
- W:图像宽度。
- C:通道数。
- RGB 彩色图像通常有 3 个通道。
传统全连接神经网络通常需要将图像展平成一维向量,再进行矩阵运算。
例如,一张 224\times224\times3 的图像,展平后包含:
个输入特征。
如果直接连接一个包含 1024 个神经元的全连接层,仅权重参数就有:
这还没有计算偏置参数。
对于图像这种具有明显空间结构的数据,直接使用全连接层会产生大量参数,也难以有效利用局部空间关系。
CNN 通过卷积核在图像上滑动,对局部区域执行特征提取,并通过参数共享减少模型参数量。
它的核心思想是:
- 局部连接:每个卷积核只关注输入中的局部区域。
- 权重共享:同一个卷积核在不同空间位置使用相同参数。
- 层级特征提取:从低级视觉特征逐步组合出高级语义特征。
二、CNN 的核心结构
典型 CNN 通常由以下模块组成:
- 输入层(Input Layer)
- 卷积层(Convolution Layer)
- 激活函数(Activation Function)
- 池化层(Pooling Layer)
- 全连接层(Fully Connected Layer)
- 输出层(Output Layer)
典型图像分类 CNN 的结构:
flowchart TB
A["输入图像"] --> B["卷积层"]
B --> C["激活函数 ReLU"]
C --> D["池化层"]
D --> E["卷积层"]
E --> F["激活函数 ReLU"]
F --> G["池化层"]
G --> H["展平 Flatten"]
H --> I["全连接层"]
I --> J["Softmax 分类输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,这只是经典 CNN 的一种组织方式。
现代 CNN 并不一定严格采用卷积、激活、池化、卷积、激活、池化的固定结构。例如 ResNet 使用残差连接,MobileNet 使用深度可分离卷积,部分网络会使用全局平均池化替代展平后的大型全连接层。
三、卷积运算:CNN 的核心
3.1 什么是卷积?
卷积(Convolution)是 CNN 中最核心的运算,用于从输入数据中提取局部特征。
在二维图像处理中,卷积核(Kernel)是一个较小的权重矩阵。
例如,一个 3\times3 卷积核:
这个卷积核可以对图像中的局部区域进行加权计算,对特定方向的边缘产生较强响应。
假设输入图像中的一个局部区域为:
卷积核为:
对应位置相乘后求和:
这个结果就是该局部区域经过卷积运算得到的一个输出值。
卷积核在输入图像上不断移动,对不同局部区域重复执行相同计算,最终形成特征图(Feature Map)。
3.2 卷积核与特征提取
不同卷积核能够学习不同类型的局部模式。
常见视觉特征包括:
- 水平边缘。
- 垂直边缘。
- 斜向边缘。
- 颜色变化。
- 纹理。
- 局部形状。
需要注意,现代 CNN 中的卷积核通常不是人工指定的边缘检测算子,而是通过反向传播和优化算法从训练数据中自动学习得到的参数。
在训练过程中,模型会根据任务损失调整卷积核权重,使其逐渐形成对目标任务有用的特征提取能力。
3.3 CNN 中的卷积与数学上的卷积
严格来说,深度学习框架中常见的卷积操作通常是互相关(Cross-Correlation),而不是数学定义中需要翻转卷积核的严格卷积。
二维互相关可以表示为:
其中:
- X:输入特征图。
- K:卷积核。
- K_h,K_w:卷积核高度和宽度。
- Y:输出特征图。
严格数学卷积需要对卷积核进行空间翻转。
但在 CNN 中,卷积核参数是通过训练学习的,使用互相关不会改变模型的表达能力,因此深度学习框架通常采用这种实现方式。
四、卷积层的参数
卷积层不仅包含卷积核,还涉及多个控制卷积计算方式的重要参数。
4.1 Kernel Size:卷积核大小
Kernel Size 表示卷积核的空间尺寸。
常见配置:
| 卷积核 | 特点 |
|---|---|
| 1×1 | 通道信息融合与维度调整 |
| 3×3 | 常见局部特征提取 |
| 5×5 | 更大的局部空间范围 |
| 7×7 | 较大的初始感受区域 |
较大的卷积核能够在一次运算中覆盖更大的空间范围,但通常需要更多计算量。
多个 3\times3 卷积层可以逐步扩大感受野,同时引入更多非线性变换。
例如,两个连续的 3\times3 卷积层,在步长为 1 且没有空洞卷积时,其理论感受野为 5\times5。
4.2 Stride:步长
Stride 表示卷积核每次移动的像素距离。
例如:
- Stride = 1:每次移动 1 个位置。
- Stride = 2:每次移动 2 个位置。
- Stride = 3:每次移动 3 个位置。
步长越大,卷积核移动次数越少,输出特征图通常越小。
4.3 Padding:填充
Padding 表示在输入特征图外围增加额外像素,通常使用零填充(Zero Padding)。
常见目的:
- 控制输出特征图尺寸。
- 保留边缘位置的信息。
- 允许多层卷积后继续维持空间分辨率。
常见类型:
| 类型 | 说明 |
|---|---|
| Valid | 不进行额外填充 |
| Same | 按目标输出尺寸进行填充,通常使输出空间尺寸保持不变(Stride=1 时) |
| Zero Padding | 在外围填充零值 |
4.4 输出尺寸计算
卷积层的输出尺寸由输入尺寸、卷积核大小、填充和步长共同决定。
高度方向:
宽度方向:
其中:
- H_{\text{in}},W_{\text{in}}:输入高度和宽度。
- K_h,K_w:卷积核高度和宽度。
- P_h,P_w:填充大小。
- S_h,S_w:步长。
- D_h,D_w:空洞率(Dilation)。
- \lfloor\cdot\rfloor:向下取整。
如果没有使用空洞卷积,D_h=D_w=1。
示例:
输入尺寸:
卷积核:
Padding:
Stride:
则输出高度:
宽度同理,因此输出尺寸仍然为:
如果改为 Stride = 2:
输出尺寸变为:
五、输入通道与输出通道
理解通道是掌握 CNN 计算过程的关键。
5.1 输入通道(Input Channels)
输入通道表示输入特征图包含多少个通道。
例如:
- 灰度图像:1 个通道。
- RGB 图像:3 个通道。
- 中间层特征图:可能包含 64、128、256 等通道。
5.2 输出通道(Output Channels)
输出通道表示卷积层生成多少张特征图。
一个输出通道通常对应一个独立的卷积核参数组。
假设输入特征图为:
使用 16 个 3\times3 卷积核,步长为 1,Padding 为 1。
每个输出通道都需要覆盖全部 3 个输入通道。
因此,每个卷积核的空间和通道尺寸为:
最终生成 16 个输出通道:
5.3 卷积层参数量计算
假设:
- 输入通道数:C_{\text{in}}
- 输出通道数:C_{\text{out}}
- 卷积核大小:K_h\times K_w
- 每个输出通道有一个偏置参数。
卷积层参数量为:
例如:
- 输入通道:3。
- 输出通道:64。
- 卷积核:3\times3。
则参数量为:
这说明卷积层通过局部连接和参数共享,可以用相对较少的参数处理较大的图像。
如果设置 bias=False,则不包含最后的偏置参数。
六、特征图(Feature Map)
特征图是卷积层计算后的输出结果。
它不仅包含数值,还包含这些数值在空间位置上的分布关系。
例如:
经过卷积层后:
表示:
- 空间高度为 112。
- 空间宽度为 112。
- 包含 64 个特征通道。
每个通道可以理解为一种不同的特征响应图。
在训练过程中,不同通道可能逐渐对不同视觉模式产生不同响应。
6.1 不同网络层的特征表达
CNN 通常通过多层卷积逐渐形成层级化的特征表达。
浅层特征:
- 边缘。
- 颜色变化。
- 方向。
- 简单纹理。
中层特征:
- 局部形状。
- 纹理组合。
- 物体局部结构。
深层特征:
- 物体部件。
- 复杂形状。
- 类别相关的语义模式。
需要注意,这是一种便于理解的概括。CNN 的通道不一定对应人类能够明确命名的单一语义概念,不同层之间也可能存在特征混合。
七、池化层(Pooling Layer)
7.1 什么是池化?
池化(Pooling)是一种对局部区域进行聚合的操作,常用于降低特征图的空间尺寸。
它可以减少后续计算量,并使特征表达对一定范围内的位置变化更加稳定。
常见池化方式:
- 最大池化(Max Pooling)。
- 平均池化(Average Pooling)。
- 全局平均池化(Global Average Pooling)。
7.2 最大池化
最大池化在指定区域中选取最大值。
例如,输入区域:
使用 2\times2 池化核,Stride = 2。
得到:
最大池化保留局部区域中响应最强的特征。
7.3 平均池化
平均池化计算局部区域内所有元素的平均值。
例如:
经过平均池化:
最大池化强调最强响应,平均池化保留区域整体平均信息。
7.4 全局平均池化(Global Average Pooling)
全局平均池化对每个通道的整个空间区域计算平均值。
假设输入特征图:
经过全局平均池化后:
每个通道最终只保留一个数值。
它常用于分类网络中,替代大型全连接层前的展平操作,减少参数量。
7.5 池化是否一定必要?
不一定。
传统 CNN 经常使用最大池化降低空间尺寸,但现代网络也可以通过步长大于 1 的卷积完成下采样。
例如:
- ResNet 中使用步长为 2 的卷积进行下采样。
- MobileNet 使用深度卷积和步长控制空间尺寸。
- 一些分类网络使用全局平均池化替代传统的大型全连接分类头。
池化是常见设计,不是所有 CNN 必须包含的模块。
八、感受野(Receptive Field)
感受野是理解 CNN 层级特征提取的重要概念。
8.1 什么是感受野?
感受野表示神经网络中某个神经元能够受到输入数据中哪些区域影响。
对于卷积网络中的一个特征位置,它通常对应输入图像中的一个局部区域。
浅层卷积层感受野较小,主要关注局部细节。
随着网络层数增加,感受野逐渐扩大,深层特征能够整合更大范围的空间信息。
8.2 感受野如何扩大?
假设连续使用两个 3\times3 卷积层,Stride 均为 1。
第一层的理论感受野:
第二层:
因此,连续两个 3\times3 卷积层的理论感受野为:
连续三个 3\times3 卷积层:
因此,理论感受野为:
8.3 感受野计算公式
对于一般卷积网络,可以使用递推方式计算理论感受野。
设:
- r_l:第 l 层的理论感受野。
- j_l:第 l 层特征图相邻位置映射回输入图像时的间隔。
- k_l:当前层卷积核大小。
- s_l:当前层步长。
- d_l:当前层空洞率。
初始条件:
递推公式:
该公式能够帮助我们计算多层卷积、步长和空洞卷积共同作用后的理论感受野。
需要区分:
- 理论感受野:从计算图结构推导出的输入覆盖范围。
- 有效感受野:对输出实际产生较强影响的输入区域。
有效感受野通常小于理论感受野,且不同位置对输出的影响并不均匀。
九、CNN 的重要变体
CNN 并不是只有普通卷积一种形式。随着计算机视觉任务发展,出现了多种卷积结构,用于降低计算量、扩大感受野或增强特征表达能力。
9.1 1×1 卷积
1×1 卷积也称逐点卷积(Pointwise Convolution)。
它不直接扩大空间感受范围,而是对同一空间位置上的不同通道进行线性组合。
假设输入:
经过 C_{\text{out}} 个 1\times1 卷积核后:
常见用途:
- 调整通道数量。
- 融合不同通道的信息。
- 降低后续卷积的计算量。
- 构建瓶颈结构。
9.2 空洞卷积(Dilated Convolution)
空洞卷积通过在卷积核元素之间引入间隔,扩大感受野,而不必同比例增加卷积核参数量。
例如,3\times3 卷积核:
- Dilation = 1:普通卷积。
- Dilation = 2:卷积核采样位置之间增加间隔。
- Dilation = 3:进一步扩大采样范围。
有效卷积核尺寸:
其中:
- K:原始卷积核大小。
- D:空洞率。
对于 3\times3 卷积核,Dilation = 2:
其有效空间覆盖范围为 5\times5,但实际可学习参数仍然只有 9 个(每个输入通道对应一个卷积核)。
常见应用:
- 语义分割。
- 场景理解。
- 需要较大上下文信息的视觉任务。
9.3 深度可分离卷积(Depthwise Separable Convolution)
深度可分离卷积将普通卷积拆分为两个步骤:
- Depthwise Convolution:每个输入通道独立进行空间卷积。
- Pointwise Convolution:使用 1\times1 卷积融合通道信息。
普通卷积参数量:
深度可分离卷积参数量:
忽略偏置时,两者的参数量比例为:
当通道数较大时,深度可分离卷积通常能够显著减少参数量和计算量。
代表性应用:MobileNet。
9.4 转置卷积(Transposed Convolution)
转置卷积常用于需要扩大特征图空间尺寸的网络结构。
典型应用:
- 图像生成。
- 语义分割解码器。
- 特征图上采样。
它并不是普通卷积的严格逆运算,也不能保证恢复原始输入信息。
其本质是对卷积对应线性变换的转置结构进行计算。
使用转置卷积时,需要注意输出尺寸、Padding、Stride 和 Output Padding 的关系。
9.5 残差连接(Residual Connection)
残差连接是 ResNet 的核心设计之一。
普通网络希望直接学习:
残差结构将目标变换表示为:
其中:
- x:输入。
- F(x):残差分支学习的变换。
- F(x)+x:最终输出。
残差连接为梯度提供了更直接的传播路径,有助于训练更深的网络。
十、经典 CNN 网络架构
CNN 的发展经历了多个重要阶段。
10.1 LeNet
LeNet 是早期经典卷积神经网络之一,主要用于手写数字识别。
主要特点:
- 卷积层提取局部特征。
- 池化层降低空间尺寸。
- 全连接层完成分类。
LeNet 展示了卷积神经网络在图像识别任务中的基本结构。
10.2 AlexNet
AlexNet 在 2012 年 ImageNet 竞赛中取得重要突破,推动了深度学习在计算机视觉领域的发展。
主要特点:
- 使用更深的卷积网络。
- 使用 ReLU 激活函数。
- 使用 Dropout 缓解过拟合。
- 使用 GPU 加速训练。
- 使用数据增强提升泛化能力。
10.3 VGG
VGG 的设计特点是使用多个连续的 3\times3 卷积层构建网络。
优势:
- 结构规整。
- 网络设计容易理解。
- 适合研究卷积网络的层级特征提取。
不足:
- 参数量较大。
- 计算开销较高。
- 深层网络训练成本较高。
10.4 GoogLeNet / Inception
Inception 网络通过并行使用不同尺寸的卷积操作,提取不同空间范围的特征。
主要特点:
- 多尺度特征提取。
- 使用 1\times1 卷积进行通道压缩。
- 减少计算开销。
- 提高网络的特征表达能力。
10.5 ResNet
ResNet(Residual Network)通过残差连接解决深层网络训练中的优化困难。
典型残差块:
其设计使网络可以在已有特征基础上学习残差变换。
代表性版本:
- ResNet-18
- ResNet-34
- ResNet-50
- ResNet-101
- ResNet-152
10.6 MobileNet
MobileNet 面向移动设备和资源受限环境。
主要特点:
- 深度可分离卷积。
- 减少参数量。
- 降低计算开销。
- 支持移动端视觉任务。
MobileNet 适合关注推理延迟、模型体积和计算资源的应用场景。
10.7 EfficientNet
EfficientNet 通过复合缩放(Compound Scaling)协调调整:
- 网络深度。
- 网络宽度。
- 输入图像分辨率。
其核心思想不是只增加某一个维度,而是协调模型规模与输入分辨率之间的关系。
十一、CNN 的计算量与参数量
理解 CNN 的工程性能,需要区分参数量和计算量。
11.1 参数量(Parameters)
参数量表示模型中需要学习的权重和偏置数量。
普通卷积层参数量:
参数量主要影响:
- 模型存储空间。
- 模型文件大小。
- 参数优化所需的状态存储。
- 部分训练和推理资源开销。