返回专栏
· 22 分钟阅读

视频理解与时序建模:从视频帧分析到时空特征建模


一、什么是视频理解?

视频理解(Video Understanding)是指模型从连续的视频数据中提取视觉信息、运动信息和时间关系,并据此完成内容识别、事件分析、行为理解及视频推理等任务。

与图像理解不同,视频不仅包含空间信息,还包含随时间变化的动态信息。

一张图像主要回答:

  • 画面中有什么对象?
  • 对象位于什么位置?
  • 对象之间存在什么空间关系?
  • 当前场景是什么?

视频还需要回答:

  • 对象正在做什么?
  • 对象的状态如何变化?
  • 动作发生在什么时间?
  • 多个动作之间有什么先后关系?
  • 一段连续行为表达了什么事件?
  • 某个事件是如何发生和结束的?

例如,一张图片可能显示一个人站在自行车旁边,但视频可以进一步识别:

  • 人物走向自行车。
  • 人物扶住车把。
  • 人物跨上自行车。
  • 人物开始骑行。
  • 人物离开画面。

这些信息依赖连续帧之间的变化,而不是单帧视觉特征。

1. 视频理解与图像理解的区别

对比维度 图像理解 视频理解
输入数据 单张图像 连续视频帧
核心信息 空间信息 空间信息与时间信息
主要任务 分类、检测、分割、OCR 动作识别、事件理解、时序定位
特征关系 单帧内部关系 帧内关系与跨帧关系
计算复杂度 与图像分辨率、模型结构相关 还受到帧数、时间长度影响
关键难点 目标识别、空间关系 运动变化、时间依赖、长程关系

2. 视频理解的主要任务

视频分类(Video Classification)

判断整个视频属于什么类别。

例如:

  • 体育比赛
  • 烹饪过程
  • 交通事故
  • 人物交谈
  • 工业生产

动作识别(Action Recognition)

识别视频中人物或物体正在执行的动作。

例如:

  • 行走
  • 奔跑
  • 跳跃
  • 投掷
  • 拍手
  • 跌倒

动作定位(Temporal Action Localization)

识别视频中动作发生的具体时间区间。

例如:

  • 00:12—00:18:人物开始跑步。
  • 00:19—00:23:人物跳跃。
  • 00:24—00:30:人物摔倒。

事件理解(Event Understanding)

理解多个动作组合形成的完整事件。

例如,模型不仅识别一个人拿起杯子,还需要理解拿起杯子、倒水、饮用这一系列行为之间的关系。

视频问答(Video Question Answering)

根据视频内容回答自然语言问题。

例如:

  • 视频中有几个人?
  • 人物什么时候离开房间?
  • 汽车为什么突然减速?
  • 人物摔倒之前做了什么?

时序定位与片段检索(Temporal Grounding)

根据文本描述,在长视频中定位对应片段。

例如:

输入:

找出视频中有人打开冰箱并拿出饮料的片段。

输出:

开始时间:00:35
结束时间:00:48

二、视频的数据表示

视频本质上是按照时间顺序排列的图像帧序列。

设一个视频包含 T 帧:

V = \{F_1,F_2,\ldots,F_T\}

其中:

  • V:视频序列。
  • F_t:第 t 帧图像。
  • T:视频帧数。

每一帧本身是一张图像,可以表示为:

F_t \in \mathbb{R}^{H \times W \times C}

其中:

  • H:图像高度。
  • W:图像宽度。
  • C:颜色通道数,RGB 图像通常为 3。

因此,整个视频可以表示为:

V \in \mathbb{R}^{T \times H \times W \times C}

这是一种常见的视频张量表示方式。

实际模型通常会将其转换为不同的数据布局,例如:

[B,C,T,H,W]

或者:

[B,T,C,H,W]

其中 B 表示批次大小。

不同框架和模型采用的张量布局可能不同,不能仅凭维度顺序判断模型的时序处理方式。

1. 帧率(FPS)

FPS(Frames Per Second)表示每秒包含多少帧。

例如:

  • 24 FPS:每秒 24 帧。
  • 30 FPS:每秒 30 帧。
  • 60 FPS:每秒 60 帧。

视频时长为 D 秒,帧率为 r,则原始帧数近似为:

T = D \times r

例如,一个 60 秒、30 FPS 的视频:

T = 60 \times 30 = 1800

也就是 1800 帧。

但模型通常不会直接处理所有原始帧,而是根据任务进行帧采样。

2. 时间戳(Timestamp)

帧序号与时间戳之间存在对应关系。

在恒定帧率、从零开始计时的理想情况下:

t_i = \frac{i}{r}

其中:

  • i:帧序号。
  • r:帧率。
  • t_i:该帧对应的时间位置。

例如,30 FPS 视频中的第 300 帧,对应约 10 秒。

实际视频可能采用可变帧率(VFR),此时不能简单通过帧序号除以平均 FPS 得到准确时间,需要使用视频容器或解码器提供的时间戳信息。

时间戳在视频理解中非常重要,因为模型不仅需要识别发生了什么,还需要知道事件发生在什么时候。

3. 视频的空间维度与时间维度

视频包含三个主要维度:

维度 含义 主要信息
空间高度 H 图像垂直方向 上下位置
空间宽度 W 图像水平方向 左右位置
时间 T 视频帧序列 动作变化和事件顺序

可以将视频理解为一个三维时空数据体:

V \in \mathbb{R}^{T \times H \times W \times C}

空间维度描述画面中的结构,时间维度描述这些结构如何随时间变化。

这是视频模型区别于传统图像模型的核心基础。

三、视频预处理与帧采样

原始视频通常不能直接作为模型输入,需要经过解码、采样、缩放和格式转换等处理。

1. 视频预处理流程

flowchart TD
    A["原始视频文件"] --> B["视频解码"]
    B --> C["提取视频帧"]
    C --> D["帧采样"]
    D --> E["图像尺寸调整"]
    E --> F["像素归一化"]
    F --> G["时间戳对齐"]
    G --> H["构建视频张量"]
    H --> I["输入视频模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

2. 均匀采样(Uniform Sampling)

均匀采样是在整个视频时间范围内,按照固定间隔选择帧。

假设视频总时长为 D,需要采样 N 帧,可以将采样时间点近似设置为:

t_i = \frac{iD}{N-1}

其中:

i \in \{0,1,\ldots,N-1\}

例如,一个 60 秒的视频采样 8 帧:

0s
8.57s
17.14s
25.71s
34.29s
42.86s
51.43s
60s

实际实现还需要处理视频结束边界、帧索引取整以及时间戳映射。

优点:

  • 实现简单。
  • 覆盖整个视频时间范围。
  • 适合视频摘要和整体场景理解。
  • 采样数量容易控制。

缺点:

  • 容易错过短暂动作。
  • 无法保证采样到关键事件。
  • 对快速变化场景不够敏感。

3. 固定间隔采样(Fixed-Interval Sampling)

按照固定时间间隔提取帧。

例如,每隔 1 秒提取一帧:

0s → 1s → 2s → 3s → 4s

与指定采样总帧数的均匀采样不同,固定间隔采样通常先确定时间间隔,再根据视频长度决定最终帧数。

适合:

  • 长视频内容浏览。
  • 监控视频抽帧。
  • 视频数据集构建。
  • 对时间覆盖有明确要求的任务。

4. 随机采样(Random Sampling)

从视频中随机选择若干帧。

主要用于训练阶段的数据增强,避免模型过度依赖固定帧位置。

例如,同一段视频在不同训练轮次中可能采样到不同帧。

优点:

  • 增加训练数据多样性。
  • 降低对固定采样位置的依赖。
  • 有助于提高模型泛化能力。

缺点:

  • 采样结果不稳定。
  • 可能遗漏关键动作。
  • 不适合需要精确时间定位的推理任务。

5. 自适应采样(Adaptive Sampling)

根据视频内容动态决定采样位置和密度。

例如:

  • 静态画面减少采样。
  • 场景切换时增加采样。
  • 动作变化明显时增加采样。
  • 事件发生前后保留更密集的帧。

自适应采样可以结合场景变化检测、运动强度、目标变化和模型反馈实现。

6. 不同采样策略对比

采样策略 核心思想 优点 局限
均匀采样 整体均匀分布 覆盖全面 容易漏掉短事件
固定间隔 按时间间隔抽帧 时间间隔明确 不考虑内容变化
随机采样 随机选择帧 增强数据多样性 结果不稳定
自适应采样 根据内容调整密度 关注关键变化 实现复杂

需要注意:采样帧数并不等于模型实际处理的视觉 Token 数。每帧可能经过 Patch 切分、多尺度裁剪或高分辨率编码,最终产生的视觉 Token 数还取决于视觉编码器和模型架构。

四、视频特征提取:从图像特征到时空特征

视频模型需要从连续帧中提取有意义的特征。

核心问题是:

如何同时表示画面中的空间结构,以及这些结构随时间发生的变化?

1. 空间特征(Spatial Features)

空间特征描述单帧图像中的视觉信息。

主要包括:

  • 物体类别。
  • 物体位置。
  • 物体形状。
  • 颜色和纹理。
  • 人物姿态。
  • 场景布局。
  • 物体之间的空间关系。

例如,在一帧图像中识别:

人物:一个人
物体:自行车
位置:人物位于自行车左侧
关系:人物正在扶着自行车

传统 CNN、Vision Transformer 等视觉编码器都可以用于提取空间特征。

2. 时间特征(Temporal Features)

时间特征描述视频内容在连续帧之间的变化。

主要包括:

  • 物体运动方向。
  • 运动速度。
  • 姿态变化。
  • 动作持续时间。
  • 状态变化。
  • 事件先后关系。
  • 长时间行为模式。

例如:

第 1 帧:人物站立
第 2 帧:人物抬起手臂
第 3 帧:人物向前挥手
第 4 帧:人物放下手臂

单帧只能看到某个姿态,连续帧才能表达挥手动作。

3. 时空特征(Spatiotemporal Features)

时空特征将空间信息和时间信息结合起来。

可以抽象表示为:

Z = f(V)

其中:

  • V:视频输入。
  • f:视频特征提取网络。
  • Z:时空特征表示。

时空特征不仅包含某一帧中有什么,还包含不同帧之间发生了什么变化。

例如:

  • 人物在画面中的位置发生变化。
  • 人物手臂从下垂变为抬起。
  • 汽车从静止状态变为运动状态。
  • 两个人从分离状态变为接触状态。

4. 空间特征与时间特征的融合

常见的视频建模方法可以分为:

空间优先(Spatial-first)

先独立提取各帧空间特征,再进行跨帧时序建模。

flowchart TD
    A["输入视频帧序列"] --> B["逐帧视觉编码"]
    B --> C["空间特征序列"]
    C --> D["时间维度建模"]
    D --> E["时空特征表示"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 可以复用图像预训练模型。
  • 空间特征提取与时序建模相对独立。
  • 更容易控制计算成本。

缺点:

  • 如果空间编码阶段完全独立处理每一帧,早期跨帧交互不足。
  • 后续时序模块需要从压缩后的帧特征中恢复动作关系。

时空联合建模(Joint Spatiotemporal Modeling)

直接在空间和时间维度上进行联合特征提取。

例如,3D CNN 在时间、高度和宽度三个维度上执行卷积。

优点:

  • 能够直接学习局部时空变化。
  • 更自然地表达短时间运动模式。
  • 空间和时间信息可以在特征提取早期交互。

缺点:

  • 计算量和显存占用较高。
  • 对训练数据和模型设计要求更高。
  • 长视频建模仍需要额外的时间压缩或长程建模机制。

五、视频建模的核心技术

1. 2D CNN:逐帧空间特征提取

2D CNN(二维卷积神经网络)主要处理单张图像。

对于视频,可以将每一帧分别输入同一个 CNN:

Z_t = CNN(F_t)

得到:

Z = \{Z_1,Z_2,\ldots,Z_T\}

然后将特征序列交给时序模块处理。

例如:

视频帧序列
    ↓
共享参数的 2D CNN
    ↓
逐帧空间特征
    ↓
时序建模模块
    ↓
视频特征

这里的 2D CNN 通常在所有帧之间共享权重,而不是为每一帧单独训练一个网络。

局限:

单独的 2D CNN 不会自动理解跨帧运动。

如果没有额外的时序模块,模型可能知道每一帧出现了什么,却不知道这些内容如何变化。

2. 3D CNN:三维卷积

3D CNN(3D Convolutional Neural Network)在时间、高度和宽度三个维度上执行卷积。

普通 2D 卷积核:

K \in \mathbb{R}^{k_h \times k_w}

3D 卷积核:

K \in \mathbb{R}^{k_t \times k_h \times k_w}

其中:

  • k_t:时间维度卷积核大小。
  • k_h:高度方向卷积核大小。
  • k_w:宽度方向卷积核大小。

3D 卷积的核心计算可以表示为:

Y(t,x,y)= \sum_{\tau,i,j} K(\tau,i,j) X(t+\tau,x+i,y+j)

实际计算还包含输入通道、输出通道和偏置项。

它可以同时学习:

  • 空间纹理。
  • 局部运动。
  • 连续帧之间的变化。
  • 短时间动作模式。

例如,模型可以通过多个连续帧中的手臂位置变化,学习挥手动作的局部时空特征。

代表架构:

  • C3D
  • I3D
  • R(2+1)D
  • SlowFast

其中,R(2+1)D 将 3D 卷积分解为空间卷积和时间卷积,有利于分离两种特征学习过程。

局限:

3D CNN 对计算资源要求较高,卷积计算量和激活显存会随着时间长度、分辨率和通道数增长。

3. Two-Stream Network:双流网络

双流网络将视频信息拆分为两个相互补充的分支:

  • RGB Stream:处理原始 RGB 图像。
  • Optical Flow Stream:处理光流运动信息。

RGB 分支主要学习外观和空间语义。

光流分支主要学习像素或局部区域在连续帧之间的运动变化。

光流可以表示为:

F(x,y,t)=(u(x,y,t),v(x,y,t))

其中:

  • u:水平方向运动分量。
  • v:垂直方向运动分量。

两个分支分别提取特征,再进行融合。

flowchart TD
    A["输入视频"] --> B["RGB 帧序列"]
    A --> C["计算光流"]
    B --> D["RGB 特征网络"]
    C --> E["光流特征网络"]
    D --> F["外观特征"]
    E --> G["运动特征"]
    F --> H["特征融合"]
    G --> H
    H --> I["动作分类或视频理解"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 同时利用外观和运动信息。
  • 能够显式建模运动变化。
  • 两个分支具有较强的互补性。

局限:

  • 光流计算增加预处理成本。
  • 双分支增加模型复杂度。
  • 光流质量会影响最终识别效果。

4. RNN、LSTM 与 GRU:循环时序建模

在逐帧提取空间特征之后,可以使用循环神经网络处理特征序列。

假设每一帧的视觉特征为:

X = \{x_1,x_2,\ldots,x_T\}

RNN 按时间顺序更新隐藏状态:

h_t = f(x_t,h_{t-1})

其中:

  • x_t:当前帧特征。
  • h_{t-1}:前一时刻隐藏状态。
  • h_t:当前隐藏状态。

隐藏状态用于保存历史信息。

LSTM 通过输入门、遗忘门和输出门控制信息保留与更新,缓解普通 RNN 在长序列训练中的梯度消失问题。

GRU 使用更新门和重置门简化状态更新过程,参数量通常少于同等隐藏维度的标准 LSTM。

视频中的典型用途:

  • 人体动作识别。
  • 视频事件分类。
  • 手势识别。
  • 连续行为分析。
  • 时序特征聚合。

局限:

  • 传统 RNN 按时间顺序递归计算,训练并行度有限。
  • 长序列建模容易受到历史信息压缩的影响。
  • 对长距离事件关系的建模能力受网络结构和训练方式限制。

5. Transformer:基于注意力的时序建模

Transformer 使用 Self-Attention 建模序列中不同位置之间的关系。

对于视频,模型可以将不同帧或不同视觉 Patch 转换成 Token 序列。

假设输入特征为:

X = [x_1,x_2,\ldots,x_T]

经过线性映射得到:

Q=XW_Q,\quad K=XW_K,\quad V=XW_V

注意力计算:

Attention(Q,K,V) = softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

模型可以根据当前 Token 与其他 Token 的相关性,聚合不同时间位置的信息。

例如:

  • 当前帧关注前面人物的动作准备阶段。
  • 当前帧关注后面人物的动作结果。
  • 模型建立动作开始、发展和结束之间的联系。

Transformer 的关键优势是能够建立非局部的时间关系,不必像普通 RNN 一样严格按时间递归处理。

但 Self-Attention 的计算复杂度也需要关注。

对于长度为 N 的 Token 序列,标准全局注意力的注意力矩阵规模与 N^2 成正比。

当视频包含大量帧和视觉 Token 时,计算与显存开销会快速增长。

6. Video Transformer:视频 Transformer

Video Transformer 将 Transformer 架构扩展到视频数据。

与图像 Transformer 只处理单张图像的 Patch 序列不同,视频 Transformer 还需要表达时间维度。

常见处理方式包括:

  • 将每帧划分为图像 Patch。
  • 将 Patch 转换为视觉 Token。
  • 为 Token 注入空间和时间位置信息。
  • 通过 Attention 建模跨帧关系。
  • 输出视频级或片段级特征。

假设视频有 T 帧,每帧划分为 P 个 Patch:

N=T \times P

如果每帧有 196 个 Patch,视频采样 16 帧:

N=16\times196=3136

此时,如果对全部 Token 执行标准全局 Self-Attention,注意力矩阵的规模与:

3136^2

成正比。

这也是视频 Transformer 需要进行时空分解、Token 压缩和稀疏注意力设计的重要原因。

六、时空注意力:空间 Attention 与时间 Attention

视频 Transformer 的一个核心问题是:

如何在大量空间 Token 和时间 Token 之间建立有效联系,同时控制计算成本?

1. Spatial Attention(空间注意力)

空间注意力主要在同一帧内部建立不同 Patch 之间的关系。

例如:

  • 人物头部与身体之间的关系。
  • 手部与工具之间的关系。
  • 汽车与道路之间的关系。
  • 物体与背景之间的关系。

它主要回答:

当前画面中,不同区域之间有什么关系?

2. Temporal Attention(时间注意力)

时间注意力主要在不同时间位置之间建立关系。

例如:

  • 人物前后两帧的姿态变化。
  • 汽车在连续帧中的位置变化。
  • 某个物体从出现到消失的过程。
  • 动作准备阶段与结束阶段之间的关系。

它主要回答:

不同时间点的视觉信息之间有什么联系?

3. Divided Space-Time Attention

一种常见的设计是将空间注意力和时间注意力分开执行。

假设视频输入为:

X \in \mathbb{R}^{T\times P\times D}

其中:

  • T:帧数。
  • P:每帧 Patch 数。
  • D:特征维度。

联合全局注意力需要在 T\times P 个 Token 上执行:

O(T^2P^2D)

这里省略了部分投影计算和常数项。

如果将其分解为:

  1. 每一帧内部执行空间注意力。
  2. 相同空间位置跨帧执行时间注意力。

其主要注意力计算量可以近似表示为:

O(TP^2D+PT^2D)

当 T 和 P 都较大时,这种分解可以显著减少注意力计算。

flowchart TD
    A["视频 Token 序列"] --> B["空间注意力"]
    B --> C["帧内区域信息交互"]
    C --> D["时间注意力"]
    D --> E["跨帧信息交互"]
    E --> F["时空特征融合"]
    F --> G["视频特征输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这种分解是时空注意力的一种典型实现思路,并非所有视频 Transformer 都采用相同结构。

4. 时间位置编码(Temporal Positional Encoding)

Self-Attention 本身不天然知道 Token 的先后顺序。

如果不提供时间位置信息,模型可能无法区分:

  • 先举手再放下。
  • 先放下手再举起。

因此,视频模型需要注入时间位置编码。

常见方式:

绝对时间位置编码

为不同时间位置分配不同的位置向量:

X_t' = X_t + E_t

其中 E_t 表示时间位置编码。

相对时间位置编码

描述两个 Token 之间的相对时间距离。

例如:

  • 相邻两帧。
  • 相隔 5 帧。
  • 相隔 30 帧。

时间戳编码

直接利用真实时间信息,为不同视频片段建立时间位置表示。

对于可变帧率视频、稀疏采样视频以及跨视频片段检索,真实时间戳尤其重要。

七、视频中的运动建模

视频理解不能只依赖静态外观,还需要理解运动。

1. 光流(Optical Flow)

光流用于描述连续视频帧之间像素或局部区域的运动。

假设某个像素在相邻帧中的位置从:

(x,y)

移动到:

(x+\Delta x,y+\Delta y)

则可以将运动表示为:

(u,v)=(\Delta x,\Delta y)

其中:

  • u:水平方向位移。
  • v:垂直方向位移。

通过分析大量像素的运动向量,可以估计:

  • 人物运动。
  • 物体运动。
  • 摄像机运动。
  • 场景中的整体运动趋势。

需要注意:

光流不等于真实物体运动。

相机移动、遮挡、光照变化、运动模糊等因素都会影响光流估计。

2. Motion Vector(运动向量)

视频编码器在压缩视频时,可能会通过运动估计和运动补偿减少冗余信息。

在块匹配或相关编码机制中,运动向量用于描述当前图像块与参考帧图像块之间的位移关系。

与光流相比:

对比维度 光流 视频编码运动向量
主要目的 估计视觉运动 提高视频压缩效率
表示方式 像素级或稠密运动场 编码块级运动信息
计算来源 光流算法或模型 视频编码器
主要用途 动作理解、运动分析 视频解码、压缩分析

编码运动向量可以作为运动特征来源,但它不等价于高精度光流。

3. 人体姿态估计(Pose Estimation)

人体姿态估计通过检测人体关键点,建立人体骨架结构。

常见关键点包括:

  • 头部。
  • 肩部。
  • 肘部。
  • 手腕。
  • 髋部。
  • 膝盖。
  • 脚踝。

单帧姿态可以表示为:

P_t = \{p_1,p_2,\ldots,p_K\}

其中 K 是关键点数量。

将连续帧姿态组合起来:

P = \{P_1,P_2,\ldots,P_T\}

就可以形成骨架时序序列。

模型可以根据关键点的变化识别:

  • 行走。
  • 跑步。
  • 跳跃。
  • 跌倒。
  • 挥手。
  • 弯腰。

基于骨架的动作识别通常比直接处理 RGB 视频更关注人体结构和关节运动,但可能丢失物体、背景及细节纹理信息。

4. 运动特征的融合

实际系统可以同时利用 RGB、光流和骨架特征。

flowchart TD
    A["输入视频"] --> B["RGB 特征提取"]
    A --> C["光流特征提取"]
    A --> D["人体姿态估计"]
    B --> E["外观特征"]
    C --> F["运动特征"]
    D --> G["骨架时序特征"]
    E --> H["多模态特征融合"]
    F --> H
    G --> H
    H --> I["动作识别与事件理解"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

八、长视频理解:从局部动作到全局事件

短视频通常只需要理解有限的时间范围。

但长视频可能包含数分钟甚至数小时的内容,模型需要处理更复杂的时间关系。

例如,一段 30 分钟的视频可能包含:

  • 多个场景。
  • 多个角色。
  • 多次场景切换。
  • 多个独立事件。
  • 前后关联的行为。
  • 贯穿整段视频的主题。

直接将全部视频帧转换成 Token 输入模型,会产生巨大的计算和上下文成本。

1. 长视频理解的主要挑战

Token 数量过大

如果每帧产生 P 个视觉 Token,视频包含 T 帧:

N=T\times P

随着帧数和分辨率增加,视觉 Token 数量会快速增长。

长距离时间依赖

一个事件的结果可能依赖很早之前发生的信息。

例如:

  • 视频开头出现一个物体。
  • 中间人物将物体放入抽屉。
  • 视频结尾询问物体在哪里。

模型需要建立跨越较长时间的关联。

事件边界不明确

很多事件并没有明显的开始和结束画面。

例如,人物从正常行走逐渐加速为奔跑,动作边界可能存在模糊性。

场景变化

视频可能包含多个摄像头、多个地点或不同视角,需要识别场景之间的关联。

2. 分层时序建模(Hierarchical Temporal Modeling)

一种常见方法是将长视频分成多个层次进行处理。

flowchart TD
    A["完整长视频"] --> B["视频分段"]
    B --> C["片段级特征提取"]
    C --> D["片段级事件理解"]
    D --> E["生成片段摘要"]
    E --> F["全局时序建模"]
    F --> G["视频级语义表示"]
    G --> H["回答问题或执行检索"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这种结构可以将视频拆分成不同粒度:

层级 建模对象 主要任务
帧级 单帧图像 物体和场景识别
局部片段级 连续若干帧 动作识别
事件级 多个动作组合 事件理解
视频级 完整视频 全局语义和主题理解

3. 视频分段(Video Segmentation)

可以根据以下信息进行分段: