一、什么是视频理解?
视频理解(Video Understanding)是指模型从连续的视频数据中提取视觉信息、运动信息和时间关系,并据此完成内容识别、事件分析、行为理解及视频推理等任务。
与图像理解不同,视频不仅包含空间信息,还包含随时间变化的动态信息。
一张图像主要回答:
- 画面中有什么对象?
- 对象位于什么位置?
- 对象之间存在什么空间关系?
- 当前场景是什么?
视频还需要回答:
- 对象正在做什么?
- 对象的状态如何变化?
- 动作发生在什么时间?
- 多个动作之间有什么先后关系?
- 一段连续行为表达了什么事件?
- 某个事件是如何发生和结束的?
例如,一张图片可能显示一个人站在自行车旁边,但视频可以进一步识别:
- 人物走向自行车。
- 人物扶住车把。
- 人物跨上自行车。
- 人物开始骑行。
- 人物离开画面。
这些信息依赖连续帧之间的变化,而不是单帧视觉特征。
1. 视频理解与图像理解的区别
| 对比维度 | 图像理解 | 视频理解 |
|---|---|---|
| 输入数据 | 单张图像 | 连续视频帧 |
| 核心信息 | 空间信息 | 空间信息与时间信息 |
| 主要任务 | 分类、检测、分割、OCR | 动作识别、事件理解、时序定位 |
| 特征关系 | 单帧内部关系 | 帧内关系与跨帧关系 |
| 计算复杂度 | 与图像分辨率、模型结构相关 | 还受到帧数、时间长度影响 |
| 关键难点 | 目标识别、空间关系 | 运动变化、时间依赖、长程关系 |
2. 视频理解的主要任务
视频分类(Video Classification)
判断整个视频属于什么类别。
例如:
- 体育比赛
- 烹饪过程
- 交通事故
- 人物交谈
- 工业生产
动作识别(Action Recognition)
识别视频中人物或物体正在执行的动作。
例如:
- 行走
- 奔跑
- 跳跃
- 投掷
- 拍手
- 跌倒
动作定位(Temporal Action Localization)
识别视频中动作发生的具体时间区间。
例如:
- 00:12—00:18:人物开始跑步。
- 00:19—00:23:人物跳跃。
- 00:24—00:30:人物摔倒。
事件理解(Event Understanding)
理解多个动作组合形成的完整事件。
例如,模型不仅识别一个人拿起杯子,还需要理解拿起杯子、倒水、饮用这一系列行为之间的关系。
视频问答(Video Question Answering)
根据视频内容回答自然语言问题。
例如:
- 视频中有几个人?
- 人物什么时候离开房间?
- 汽车为什么突然减速?
- 人物摔倒之前做了什么?
时序定位与片段检索(Temporal Grounding)
根据文本描述,在长视频中定位对应片段。
例如:
输入:
找出视频中有人打开冰箱并拿出饮料的片段。
输出:
开始时间:00:35
结束时间:00:48
二、视频的数据表示
视频本质上是按照时间顺序排列的图像帧序列。
设一个视频包含 T 帧:
其中:
- V:视频序列。
- F_t:第 t 帧图像。
- T:视频帧数。
每一帧本身是一张图像,可以表示为:
其中:
- H:图像高度。
- W:图像宽度。
- C:颜色通道数,RGB 图像通常为 3。
因此,整个视频可以表示为:
这是一种常见的视频张量表示方式。
实际模型通常会将其转换为不同的数据布局,例如:
或者:
其中 B 表示批次大小。
不同框架和模型采用的张量布局可能不同,不能仅凭维度顺序判断模型的时序处理方式。
1. 帧率(FPS)
FPS(Frames Per Second)表示每秒包含多少帧。
例如:
- 24 FPS:每秒 24 帧。
- 30 FPS:每秒 30 帧。
- 60 FPS:每秒 60 帧。
视频时长为 D 秒,帧率为 r,则原始帧数近似为:
例如,一个 60 秒、30 FPS 的视频:
也就是 1800 帧。
但模型通常不会直接处理所有原始帧,而是根据任务进行帧采样。
2. 时间戳(Timestamp)
帧序号与时间戳之间存在对应关系。
在恒定帧率、从零开始计时的理想情况下:
其中:
- i:帧序号。
- r:帧率。
- t_i:该帧对应的时间位置。
例如,30 FPS 视频中的第 300 帧,对应约 10 秒。
实际视频可能采用可变帧率(VFR),此时不能简单通过帧序号除以平均 FPS 得到准确时间,需要使用视频容器或解码器提供的时间戳信息。
时间戳在视频理解中非常重要,因为模型不仅需要识别发生了什么,还需要知道事件发生在什么时候。
3. 视频的空间维度与时间维度
视频包含三个主要维度:
| 维度 | 含义 | 主要信息 |
|---|---|---|
| 空间高度 H | 图像垂直方向 | 上下位置 |
| 空间宽度 W | 图像水平方向 | 左右位置 |
| 时间 T | 视频帧序列 | 动作变化和事件顺序 |
可以将视频理解为一个三维时空数据体:
空间维度描述画面中的结构,时间维度描述这些结构如何随时间变化。
这是视频模型区别于传统图像模型的核心基础。
三、视频预处理与帧采样
原始视频通常不能直接作为模型输入,需要经过解码、采样、缩放和格式转换等处理。
1. 视频预处理流程
flowchart TD
A["原始视频文件"] --> B["视频解码"]
B --> C["提取视频帧"]
C --> D["帧采样"]
D --> E["图像尺寸调整"]
E --> F["像素归一化"]
F --> G["时间戳对齐"]
G --> H["构建视频张量"]
H --> I["输入视频模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2. 均匀采样(Uniform Sampling)
均匀采样是在整个视频时间范围内,按照固定间隔选择帧。
假设视频总时长为 D,需要采样 N 帧,可以将采样时间点近似设置为:
其中:
例如,一个 60 秒的视频采样 8 帧:
0s
8.57s
17.14s
25.71s
34.29s
42.86s
51.43s
60s
实际实现还需要处理视频结束边界、帧索引取整以及时间戳映射。
优点:
- 实现简单。
- 覆盖整个视频时间范围。
- 适合视频摘要和整体场景理解。
- 采样数量容易控制。
缺点:
- 容易错过短暂动作。
- 无法保证采样到关键事件。
- 对快速变化场景不够敏感。
3. 固定间隔采样(Fixed-Interval Sampling)
按照固定时间间隔提取帧。
例如,每隔 1 秒提取一帧:
0s → 1s → 2s → 3s → 4s
与指定采样总帧数的均匀采样不同,固定间隔采样通常先确定时间间隔,再根据视频长度决定最终帧数。
适合:
- 长视频内容浏览。
- 监控视频抽帧。
- 视频数据集构建。
- 对时间覆盖有明确要求的任务。
4. 随机采样(Random Sampling)
从视频中随机选择若干帧。
主要用于训练阶段的数据增强,避免模型过度依赖固定帧位置。
例如,同一段视频在不同训练轮次中可能采样到不同帧。
优点:
- 增加训练数据多样性。
- 降低对固定采样位置的依赖。
- 有助于提高模型泛化能力。
缺点:
- 采样结果不稳定。
- 可能遗漏关键动作。
- 不适合需要精确时间定位的推理任务。
5. 自适应采样(Adaptive Sampling)
根据视频内容动态决定采样位置和密度。
例如:
- 静态画面减少采样。
- 场景切换时增加采样。
- 动作变化明显时增加采样。
- 事件发生前后保留更密集的帧。
自适应采样可以结合场景变化检测、运动强度、目标变化和模型反馈实现。
6. 不同采样策略对比
| 采样策略 | 核心思想 | 优点 | 局限 |
|---|---|---|---|
| 均匀采样 | 整体均匀分布 | 覆盖全面 | 容易漏掉短事件 |
| 固定间隔 | 按时间间隔抽帧 | 时间间隔明确 | 不考虑内容变化 |
| 随机采样 | 随机选择帧 | 增强数据多样性 | 结果不稳定 |
| 自适应采样 | 根据内容调整密度 | 关注关键变化 | 实现复杂 |
需要注意:采样帧数并不等于模型实际处理的视觉 Token 数。每帧可能经过 Patch 切分、多尺度裁剪或高分辨率编码,最终产生的视觉 Token 数还取决于视觉编码器和模型架构。
四、视频特征提取:从图像特征到时空特征
视频模型需要从连续帧中提取有意义的特征。
核心问题是:
如何同时表示画面中的空间结构,以及这些结构随时间发生的变化?
1. 空间特征(Spatial Features)
空间特征描述单帧图像中的视觉信息。
主要包括:
- 物体类别。
- 物体位置。
- 物体形状。
- 颜色和纹理。
- 人物姿态。
- 场景布局。
- 物体之间的空间关系。
例如,在一帧图像中识别:
人物:一个人
物体:自行车
位置:人物位于自行车左侧
关系:人物正在扶着自行车
传统 CNN、Vision Transformer 等视觉编码器都可以用于提取空间特征。
2. 时间特征(Temporal Features)
时间特征描述视频内容在连续帧之间的变化。
主要包括:
- 物体运动方向。
- 运动速度。
- 姿态变化。
- 动作持续时间。
- 状态变化。
- 事件先后关系。
- 长时间行为模式。
例如:
第 1 帧:人物站立
第 2 帧:人物抬起手臂
第 3 帧:人物向前挥手
第 4 帧:人物放下手臂
单帧只能看到某个姿态,连续帧才能表达挥手动作。
3. 时空特征(Spatiotemporal Features)
时空特征将空间信息和时间信息结合起来。
可以抽象表示为:
其中:
- V:视频输入。
- f:视频特征提取网络。
- Z:时空特征表示。
时空特征不仅包含某一帧中有什么,还包含不同帧之间发生了什么变化。
例如:
- 人物在画面中的位置发生变化。
- 人物手臂从下垂变为抬起。
- 汽车从静止状态变为运动状态。
- 两个人从分离状态变为接触状态。
4. 空间特征与时间特征的融合
常见的视频建模方法可以分为:
空间优先(Spatial-first)
先独立提取各帧空间特征,再进行跨帧时序建模。
flowchart TD
A["输入视频帧序列"] --> B["逐帧视觉编码"]
B --> C["空间特征序列"]
C --> D["时间维度建模"]
D --> E["时空特征表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
优点:
- 可以复用图像预训练模型。
- 空间特征提取与时序建模相对独立。
- 更容易控制计算成本。
缺点:
- 如果空间编码阶段完全独立处理每一帧,早期跨帧交互不足。
- 后续时序模块需要从压缩后的帧特征中恢复动作关系。
时空联合建模(Joint Spatiotemporal Modeling)
直接在空间和时间维度上进行联合特征提取。
例如,3D CNN 在时间、高度和宽度三个维度上执行卷积。
优点:
- 能够直接学习局部时空变化。
- 更自然地表达短时间运动模式。
- 空间和时间信息可以在特征提取早期交互。
缺点:
- 计算量和显存占用较高。
- 对训练数据和模型设计要求更高。
- 长视频建模仍需要额外的时间压缩或长程建模机制。
五、视频建模的核心技术
1. 2D CNN:逐帧空间特征提取
2D CNN(二维卷积神经网络)主要处理单张图像。
对于视频,可以将每一帧分别输入同一个 CNN:
得到:
然后将特征序列交给时序模块处理。
例如:
视频帧序列
↓
共享参数的 2D CNN
↓
逐帧空间特征
↓
时序建模模块
↓
视频特征
这里的 2D CNN 通常在所有帧之间共享权重,而不是为每一帧单独训练一个网络。
局限:
单独的 2D CNN 不会自动理解跨帧运动。
如果没有额外的时序模块,模型可能知道每一帧出现了什么,却不知道这些内容如何变化。
2. 3D CNN:三维卷积
3D CNN(3D Convolutional Neural Network)在时间、高度和宽度三个维度上执行卷积。
普通 2D 卷积核:
3D 卷积核:
其中:
- k_t:时间维度卷积核大小。
- k_h:高度方向卷积核大小。
- k_w:宽度方向卷积核大小。
3D 卷积的核心计算可以表示为:
实际计算还包含输入通道、输出通道和偏置项。
它可以同时学习:
- 空间纹理。
- 局部运动。
- 连续帧之间的变化。
- 短时间动作模式。
例如,模型可以通过多个连续帧中的手臂位置变化,学习挥手动作的局部时空特征。
代表架构:
- C3D
- I3D
- R(2+1)D
- SlowFast
其中,R(2+1)D 将 3D 卷积分解为空间卷积和时间卷积,有利于分离两种特征学习过程。
局限:
3D CNN 对计算资源要求较高,卷积计算量和激活显存会随着时间长度、分辨率和通道数增长。
3. Two-Stream Network:双流网络
双流网络将视频信息拆分为两个相互补充的分支:
- RGB Stream:处理原始 RGB 图像。
- Optical Flow Stream:处理光流运动信息。
RGB 分支主要学习外观和空间语义。
光流分支主要学习像素或局部区域在连续帧之间的运动变化。
光流可以表示为:
其中:
- u:水平方向运动分量。
- v:垂直方向运动分量。
两个分支分别提取特征,再进行融合。
flowchart TD
A["输入视频"] --> B["RGB 帧序列"]
A --> C["计算光流"]
B --> D["RGB 特征网络"]
C --> E["光流特征网络"]
D --> F["外观特征"]
E --> G["运动特征"]
F --> H["特征融合"]
G --> H
H --> I["动作分类或视频理解"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
优点:
- 同时利用外观和运动信息。
- 能够显式建模运动变化。
- 两个分支具有较强的互补性。
局限:
- 光流计算增加预处理成本。
- 双分支增加模型复杂度。
- 光流质量会影响最终识别效果。
4. RNN、LSTM 与 GRU:循环时序建模
在逐帧提取空间特征之后,可以使用循环神经网络处理特征序列。
假设每一帧的视觉特征为:
RNN 按时间顺序更新隐藏状态:
其中:
- x_t:当前帧特征。
- h_{t-1}:前一时刻隐藏状态。
- h_t:当前隐藏状态。
隐藏状态用于保存历史信息。
LSTM 通过输入门、遗忘门和输出门控制信息保留与更新,缓解普通 RNN 在长序列训练中的梯度消失问题。
GRU 使用更新门和重置门简化状态更新过程,参数量通常少于同等隐藏维度的标准 LSTM。
视频中的典型用途:
- 人体动作识别。
- 视频事件分类。
- 手势识别。
- 连续行为分析。
- 时序特征聚合。
局限:
- 传统 RNN 按时间顺序递归计算,训练并行度有限。
- 长序列建模容易受到历史信息压缩的影响。
- 对长距离事件关系的建模能力受网络结构和训练方式限制。
5. Transformer:基于注意力的时序建模
Transformer 使用 Self-Attention 建模序列中不同位置之间的关系。
对于视频,模型可以将不同帧或不同视觉 Patch 转换成 Token 序列。
假设输入特征为:
经过线性映射得到:
注意力计算:
模型可以根据当前 Token 与其他 Token 的相关性,聚合不同时间位置的信息。
例如:
- 当前帧关注前面人物的动作准备阶段。
- 当前帧关注后面人物的动作结果。
- 模型建立动作开始、发展和结束之间的联系。
Transformer 的关键优势是能够建立非局部的时间关系,不必像普通 RNN 一样严格按时间递归处理。
但 Self-Attention 的计算复杂度也需要关注。
对于长度为 N 的 Token 序列,标准全局注意力的注意力矩阵规模与 N^2 成正比。
当视频包含大量帧和视觉 Token 时,计算与显存开销会快速增长。
6. Video Transformer:视频 Transformer
Video Transformer 将 Transformer 架构扩展到视频数据。
与图像 Transformer 只处理单张图像的 Patch 序列不同,视频 Transformer 还需要表达时间维度。
常见处理方式包括:
- 将每帧划分为图像 Patch。
- 将 Patch 转换为视觉 Token。
- 为 Token 注入空间和时间位置信息。
- 通过 Attention 建模跨帧关系。
- 输出视频级或片段级特征。
假设视频有 T 帧,每帧划分为 P 个 Patch:
如果每帧有 196 个 Patch,视频采样 16 帧:
此时,如果对全部 Token 执行标准全局 Self-Attention,注意力矩阵的规模与:
成正比。
这也是视频 Transformer 需要进行时空分解、Token 压缩和稀疏注意力设计的重要原因。
六、时空注意力:空间 Attention 与时间 Attention
视频 Transformer 的一个核心问题是:
如何在大量空间 Token 和时间 Token 之间建立有效联系,同时控制计算成本?
1. Spatial Attention(空间注意力)
空间注意力主要在同一帧内部建立不同 Patch 之间的关系。
例如:
- 人物头部与身体之间的关系。
- 手部与工具之间的关系。
- 汽车与道路之间的关系。
- 物体与背景之间的关系。
它主要回答:
当前画面中,不同区域之间有什么关系?
2. Temporal Attention(时间注意力)
时间注意力主要在不同时间位置之间建立关系。
例如:
- 人物前后两帧的姿态变化。
- 汽车在连续帧中的位置变化。
- 某个物体从出现到消失的过程。
- 动作准备阶段与结束阶段之间的关系。
它主要回答:
不同时间点的视觉信息之间有什么联系?
3. Divided Space-Time Attention
一种常见的设计是将空间注意力和时间注意力分开执行。
假设视频输入为:
其中:
- T:帧数。
- P:每帧 Patch 数。
- D:特征维度。
联合全局注意力需要在 T\times P 个 Token 上执行:
这里省略了部分投影计算和常数项。
如果将其分解为:
- 每一帧内部执行空间注意力。
- 相同空间位置跨帧执行时间注意力。
其主要注意力计算量可以近似表示为:
当 T 和 P 都较大时,这种分解可以显著减少注意力计算。
flowchart TD
A["视频 Token 序列"] --> B["空间注意力"]
B --> C["帧内区域信息交互"]
C --> D["时间注意力"]
D --> E["跨帧信息交互"]
E --> F["时空特征融合"]
F --> G["视频特征输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这种分解是时空注意力的一种典型实现思路,并非所有视频 Transformer 都采用相同结构。
4. 时间位置编码(Temporal Positional Encoding)
Self-Attention 本身不天然知道 Token 的先后顺序。
如果不提供时间位置信息,模型可能无法区分:
- 先举手再放下。
- 先放下手再举起。
因此,视频模型需要注入时间位置编码。
常见方式:
绝对时间位置编码
为不同时间位置分配不同的位置向量:
其中 E_t 表示时间位置编码。
相对时间位置编码
描述两个 Token 之间的相对时间距离。
例如:
- 相邻两帧。
- 相隔 5 帧。
- 相隔 30 帧。
时间戳编码
直接利用真实时间信息,为不同视频片段建立时间位置表示。
对于可变帧率视频、稀疏采样视频以及跨视频片段检索,真实时间戳尤其重要。
七、视频中的运动建模
视频理解不能只依赖静态外观,还需要理解运动。
1. 光流(Optical Flow)
光流用于描述连续视频帧之间像素或局部区域的运动。
假设某个像素在相邻帧中的位置从:
移动到:
则可以将运动表示为:
其中:
- u:水平方向位移。
- v:垂直方向位移。
通过分析大量像素的运动向量,可以估计:
- 人物运动。
- 物体运动。
- 摄像机运动。
- 场景中的整体运动趋势。
需要注意:
光流不等于真实物体运动。
相机移动、遮挡、光照变化、运动模糊等因素都会影响光流估计。
2. Motion Vector(运动向量)
视频编码器在压缩视频时,可能会通过运动估计和运动补偿减少冗余信息。
在块匹配或相关编码机制中,运动向量用于描述当前图像块与参考帧图像块之间的位移关系。
与光流相比:
| 对比维度 | 光流 | 视频编码运动向量 |
|---|---|---|
| 主要目的 | 估计视觉运动 | 提高视频压缩效率 |
| 表示方式 | 像素级或稠密运动场 | 编码块级运动信息 |
| 计算来源 | 光流算法或模型 | 视频编码器 |
| 主要用途 | 动作理解、运动分析 | 视频解码、压缩分析 |
编码运动向量可以作为运动特征来源,但它不等价于高精度光流。
3. 人体姿态估计(Pose Estimation)
人体姿态估计通过检测人体关键点,建立人体骨架结构。
常见关键点包括:
- 头部。
- 肩部。
- 肘部。
- 手腕。
- 髋部。
- 膝盖。
- 脚踝。
单帧姿态可以表示为:
其中 K 是关键点数量。
将连续帧姿态组合起来:
就可以形成骨架时序序列。
模型可以根据关键点的变化识别:
- 行走。
- 跑步。
- 跳跃。
- 跌倒。
- 挥手。
- 弯腰。
基于骨架的动作识别通常比直接处理 RGB 视频更关注人体结构和关节运动,但可能丢失物体、背景及细节纹理信息。
4. 运动特征的融合
实际系统可以同时利用 RGB、光流和骨架特征。
flowchart TD
A["输入视频"] --> B["RGB 特征提取"]
A --> C["光流特征提取"]
A --> D["人体姿态估计"]
B --> E["外观特征"]
C --> F["运动特征"]
D --> G["骨架时序特征"]
E --> H["多模态特征融合"]
F --> H
G --> H
H --> I["动作识别与事件理解"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
八、长视频理解:从局部动作到全局事件
短视频通常只需要理解有限的时间范围。
但长视频可能包含数分钟甚至数小时的内容,模型需要处理更复杂的时间关系。
例如,一段 30 分钟的视频可能包含:
- 多个场景。
- 多个角色。
- 多次场景切换。
- 多个独立事件。
- 前后关联的行为。
- 贯穿整段视频的主题。
直接将全部视频帧转换成 Token 输入模型,会产生巨大的计算和上下文成本。
1. 长视频理解的主要挑战
Token 数量过大
如果每帧产生 P 个视觉 Token,视频包含 T 帧:
随着帧数和分辨率增加,视觉 Token 数量会快速增长。
长距离时间依赖
一个事件的结果可能依赖很早之前发生的信息。
例如:
- 视频开头出现一个物体。
- 中间人物将物体放入抽屉。
- 视频结尾询问物体在哪里。
模型需要建立跨越较长时间的关联。
事件边界不明确
很多事件并没有明显的开始和结束画面。
例如,人物从正常行走逐渐加速为奔跑,动作边界可能存在模糊性。
场景变化
视频可能包含多个摄像头、多个地点或不同视角,需要识别场景之间的关联。
2. 分层时序建模(Hierarchical Temporal Modeling)
一种常见方法是将长视频分成多个层次进行处理。
flowchart TD
A["完整长视频"] --> B["视频分段"]
B --> C["片段级特征提取"]
C --> D["片段级事件理解"]
D --> E["生成片段摘要"]
E --> F["全局时序建模"]
F --> G["视频级语义表示"]
G --> H["回答问题或执行检索"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这种结构可以将视频拆分成不同粒度:
| 层级 | 建模对象 | 主要任务 |
|---|---|---|
| 帧级 | 单帧图像 | 物体和场景识别 |
| 局部片段级 | 连续若干帧 | 动作识别 |
| 事件级 | 多个动作组合 | 事件理解 |
| 视频级 | 完整视频 | 全局语义和主题理解 |
3. 视频分段(Video Segmentation)
可以根据以下信息进行分段: