一、什么是多模态大模型?
传统语言模型主要处理文本,将文本切分为 Token,再映射为向量,通过 Transformer 建模上下文关系,最终预测下一个 Token。
但真实世界的信息并不只有文本,还包括:
- 图像:物体、场景、空间关系、文字和视觉细节。
- 音频:语音、音乐、环境声音、语气和情绪线索。
- 视频:连续画面、运动变化、场景切换和时间关系。
- 空间数据:位置、方向、深度、姿态和运动轨迹。
- 文本:自然语言、代码、结构化描述和指令。
多模态大模型(Multimodal Large Language Model,MLLM)能够处理两种或更多模态的信息,并在不同模态之间建立语义关联。
例如,用户上传一张图片并询问:
图片中的车辆是什么颜色?它停在什么位置?
模型需要完成多个任务:
- 识别图片中的车辆。
- 提取车辆颜色等视觉属性。
- 理解车辆与周围环境的空间关系。
- 理解用户的文本问题。
- 将视觉信息与文本问题关联。
- 组织自然语言答案。
这不只是图像识别和文本生成的简单组合,而是不同模态之间的信息表示、对齐和联合推理。
1.1 单模态模型与多模态模型
| 对比维度 | 单模态模型 | 多模态模型 |
|---|---|---|
| 输入数据 | 一种主要数据类型 | 多种数据类型 |
| 数据表示 | 单一模态编码 | 多种模态编码 |
| 特征空间 | 主要在同一模态内建模 | 需要跨模态关联 |
| 训练目标 | 模态内预测或生成 | 模态内与跨模态目标 |
| 输出形式 | 通常为单一模态 | 可支持多种模态 |
| 典型任务 | 文本生成、图像分类 | 图文问答、语音对话、视频理解 |
需要注意:多模态模型不一定能够处理所有模态,也不意味着所有输入和输出都可以任意组合。具体能力取决于模型架构、训练数据和训练目标。
1.2 多模态大模型的核心组成
一个典型的多模态大模型通常包含以下部分:
- 模态编码器(Modality Encoder):将图像、音频、视频等原始数据转换为特征表示。
- 投影层(Projector):将不同模态的特征映射到模型能够处理的表示空间。
- 融合模块(Fusion Module):建立不同模态之间的信息交互。
- 语言模型骨干(LLM Backbone):利用 Transformer 建模上下文、执行推理并组织输出。
- 模态解码器(Modality Decoder):将模型内部表示转换为图像、音频等目标模态。
- 任务控制模块:根据任务决定输入解析、模态路由、生成方式和输出格式。
并不是所有模型都采用完全相同的组件。部分模型直接使用统一 Transformer 处理多种模态,部分模型则通过专用编码器和解码器完成模态转换。
二、多模态模型的整体工作流程
从整体上看,多模态模型需要解决三个核心问题:
- 如何将不同模态的数据转换成模型能够处理的表示?
- 如何让不同模态的表示建立联系?
- 如何根据任务要求生成对应模态的结果?
2.1 典型处理架构
以下是采用独立模态编码器和语言模型骨干的典型架构:
flowchart TD
A["多模态输入"] --> B["输入类型识别与预处理"]
B --> C["模态路由"]
C --> D["文本编码"]
C --> E["图像编码"]
C --> F["音频编码"]
C --> G["视频帧与时序编码"]
D --> H["特征投影与表示对齐"]
E --> H
F --> H
G --> H
H --> I["跨模态融合"]
I --> J["Transformer 主干网络"]
J --> K["上下文理解与任务推理"]
K --> L["输出任务路由"]
L --> M["文本生成"]
L --> N["图像生成"]
L --> O["音频生成"]
L --> P["视频或其他结构化输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style O fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style P fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
这是概念性架构,不代表所有多模态模型都严格遵循该结构。
例如:
- 图像理解模型可能使用视觉编码器,将图像特征投影到语言模型的输入空间。
- 语音对话模型可能采用音频 Token 与文本 Token 混合建模。
- 图像生成模型可能使用扩散模型或自回归视觉 Token 解码器。
- 原生多模态模型可能在统一 Transformer 中处理多种模态的序列。
三、不同模态如何转换为 Token?
多模态模型的一个关键问题是:文本、图像、音频和视频的数据结构完全不同,如何让同一个模型处理它们?
核心思路是将不同模态转换成向量或离散 Token 序列,再通过统一或兼容的表示接口输入模型。
但不同模态的编码方法并不相同。
3.1 文本:Token ID 与 Embedding
文本模型通常使用 Tokenizer 将文本切分成 Token,并映射为整数 ID。
例如:
输入文本:
多模态大模型
Tokenizer:
["多", "模态", "大", "模型"]
Token ID:
[1024, 2381, 512, 819]
随后通过 Embedding 层,将 Token ID 映射为连续向量:
得到的文本向量可以作为 Transformer 的输入。
需要注意,实际 Tokenizer 的切分方式由词表决定,上面的切分仅用于说明原理。
3.2 图像:从像素到视觉 Token
图像的原始数据通常表示为像素矩阵。
一张 RGB 图像可以表示为:
其中:
- H:图像高度。
- W:图像宽度。
- 3:RGB 三个颜色通道。
直接将所有像素输入语言模型并不现实,因此通常需要视觉编码器提取特征。
以 Vision Transformer(ViT)为例,图像会被切分为多个 Patch。
假设输入图像大小为:
Patch 大小为:
则 Patch 数量为:
每个 Patch 会被转换成向量,再经过线性投影和位置编码,形成视觉 Token 序列。
flowchart TD
A["输入 RGB 图像"] --> B["图像尺寸与预处理"]
B --> C["切分为 Patch"]
C --> D["Patch 展平"]
D --> E["线性投影"]
E --> F["添加位置编码"]
F --> G["视觉 Transformer"]
G --> H["视觉特征序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Patch Embedding 可以简化表示为:
其中:
- P_i:第 i 个图像 Patch。
- Flatten:将 Patch 展平。
- W_p:可学习的投影矩阵。
- b_p:偏置参数。
- z_i:Patch 对应的视觉向量。
随后,视觉 Transformer 通过 Self-Attention 建模不同 Patch 之间的关系。
例如:
- 哪些区域属于同一个物体。
- 物体之间的空间关系。
- 图像中的局部纹理和整体场景。
- 文字区域与其他视觉对象的关系。
需要注意:视觉 Token 不一定等于一个 Patch。实际模型可能采用重叠 Patch、多尺度特征、区域特征、动态分辨率、裁剪切片或其他视觉编码方式。
对于高分辨率图像,模型还可能将图像拆分为多个局部区域,以保留更精细的视觉信息。
3.3 音频:从波形到音频 Token
音频与图像不同,它本质上是一段随时间变化的信号。
数字音频可以表示为离散采样序列:
其中每个 x_t 表示某个采样时刻的振幅。
音频模型通常不会直接把原始波形作为普通文本 Token 处理,而是通过音频编码器提取特征。
常见处理方式包括:
- 波形编码:直接处理采样信号。
- 频谱编码:将音频转换为时频表示。
- Mel Spectrogram:将频谱映射到 Mel 频率尺度。
- 神经音频编码:使用神经网络提取连续或离散音频表示。
- 语音识别编码:提取适合语音内容理解的特征。
以 Mel Spectrogram 为例:
flowchart TD
A["原始音频波形"] --> B["分帧与加窗"]
B --> C["短时傅里叶变换 STFT"]
C --> D["功率谱计算"]
D --> E["Mel 滤波器组"]
E --> F["对数压缩"]
F --> G["Mel Spectrogram"]
G --> H["音频编码器"]
H --> I["音频特征序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
短时傅里叶变换(STFT)用于分析音频在不同时间窗口内的频率分布:
其中:
- m:时间帧索引。
- k:频率索引。
- N:窗口长度。
- H:帧移长度。
- w[n]:窗函数。
Mel 频谱能够将音频转换为更适合感知和模型处理的时频特征。
不过,并不是所有多模态音频模型都采用 Mel Spectrogram。有些模型直接使用原始波形或学习型音频编码器,也有模型将音频编码为离散 Token。
3.4 视频:从连续画面到时空 Token
视频可以理解为按照时间顺序排列的图像帧。
一个视频可以表示为:
其中 I_t 表示第 t 个视频帧。
视频模型不仅需要理解每一帧的内容,还需要理解帧与帧之间的时间关系。
典型处理过程包括:
- 视频解码。
- 按时间间隔采样视频帧。
- 对每一帧进行视觉编码。
- 添加时间位置或时序信息。
- 建立跨帧关系。
- 形成视频特征序列。
flowchart TD
A["输入视频"] --> B["视频解码"]
B --> C["按时间采样帧"]
C --> D["图像视觉编码"]
D --> E["添加时间信息"]
E --> F["时序特征建模"]
F --> G["视频时空表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
视频理解与单张图像理解存在本质差异。
例如:
- 单张图片能够识别一个人正在跑步的姿态。
- 视频能够分析这个人从静止到开始跑步的动作变化。
- 连续视频还可以判断动作发生的顺序、持续时间和场景变化。
视频模型需要同时建模空间信息和时间信息:
其中 \mathcal{T} 表示时间信息。
视频处理也可能使用 3D 卷积、时空 Transformer、稀疏帧采样、关键帧提取或视频专用 Tokenizer,不局限于逐帧图像编码。
四、跨模态对齐:不同模态如何建立语义联系?
将不同模态转换成向量,并不意味着它们天然具有相同语义空间。
例如:
- 文本中的“猫”是一个语言 Token。
- 图像中的猫是由大量像素组成的视觉区域。
- 音频中的猫叫声是一段声学信号。
它们的原始数据结构不同,编码器产生的向量分布也可能不同。
多模态模型需要解决跨模态对齐(Cross-modal Alignment)问题。
4.1 什么是跨模态对齐?
跨模态对齐的目标是让不同模态中表达相同或相关语义的信息,在模型表示空间中建立可学习的对应关系。
例如:
- 文本:“一只橘猫坐在沙发上。”
- 图像:一张橘猫坐在沙发上的照片。
模型需要学习文本语义与图像内容之间的对应关系。
一种常见思路是对比学习(Contrastive Learning)。
4.2 对比学习的基本原理
以图文对比学习为例,分别使用图像编码器和文本编码器提取特征:
随后将特征映射到可比较的向量空间,并进行归一化。
使用余弦相似度计算图像与文本之间的匹配程度:
训练目标是:
- 提高匹配图文对的相似度。
- 降低不匹配图文对的相似度。
例如,一个 Batch 中有 4 组图文:
| 图像 | 文本 | 匹配关系 |
|---|---|---|
| 图片 A | 描述 A | 正样本 |
| 图片 B | 描述 B | 正样本 |
| 图片 C | 描述 C | 正样本 |
| 图片 D | 描述 D | 正样本 |
| 图片 A | 描述 B | 负样本 |
| 图片 A | 描述 C | 负样本 |
模型通过大量正负样本学习跨模态对应关系。
一种常见的对称对比损失可以表示为:
其中,图像到文本方向的损失为:
其中:
- N:Batch 中的样本数量。
- s(v_i,t_j):图像与文本的相似度。
- \tau:温度参数。
这种训练方式可以让图像和文本在共享表示空间中建立语义关联。
CLIP 是图文对比学习的典型代表。它通过大规模图文配对数据学习图像和文本之间的语义对应关系。
需要注意:对比学习只是跨模态对齐的一种方法。多模态大模型还可能使用匹配损失、生成式训练、跨注意力、监督微调等方式建立对齐关系。
4.3 对齐不等于完全相同
跨模态对齐并不是让图像、文本和音频变成完全相同的向量。
它更重要的目标是建立语义关联。
例如:
- 一张狗的图片。
- 文本“狗”。
- 一段狗叫声。
三种表示仍然保留各自模态的信息特征,但模型能够理解它们之间的语义联系。
这也是为什么多模态模型既需要共享表示,也需要保留模态特有的信息。
五、跨模态融合:不同模态如何共同参与推理?
完成模态编码和语义对齐之后,模型还需要将不同模态的信息结合起来。
这一过程称为跨模态融合(Cross-modal Fusion)。
常见融合方式主要包括三类。
5.1 早期融合(Early Fusion)
早期融合通常在模型较早的层级,将不同模态的 Token 合并到同一个序列中。
例如:
文本 Token:
[T1, T2, T3]
图像 Token:
[I1, I2, I3, I4]
融合序列:
[T1, T2, T3, I1, I2, I3, I4]
随后由统一 Transformer 处理。
flowchart TD
A["文本 Token"] --> C["统一序列构建"]
B["图像 Token"] --> C
C --> D["统一 Transformer"]
D --> E["跨模态 Self-Attention"]
E --> F["联合语义表示"]
style A fill:#EAF3EC,stroke:#83A995,color:#315D49
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
优点:
- 不同模态可以直接进行 Self-Attention。
- 模态之间的信息交互较为灵活。
- 可以构建统一的序列建模架构。
缺点:
- 多模态 Token 数量可能非常庞大。
- Attention 计算成本和显存占用较高。
- 不同模态的序列长度差异较大,可能影响训练效率。
5.2 后期融合(Late Fusion)
后期融合先独立处理不同模态,再在高层表示或任务输出阶段融合结果。
例如:
图像编码器 → 图像特征 ┐
├→ 特征融合 → 任务输出
文本编码器 → 文本特征 ┘
其特点是:
- 不同模态可以使用专门的编码器。
- 模态内部特征提取相对独立。
- 融合发生在较高层级。
- 对不同模态的独立处理能力较强。
但如果融合发生得太晚,模型可能难以充分利用细粒度的跨模态交互信息。
5.3 中间融合(Intermediate Fusion)
中间融合是在编码过程的多个阶段建立跨模态交互。
例如,图像特征和文本特征先分别编码,再通过 Cross-Attention 进行信息交换。
flowchart TD
A["图像输入"] --> B["视觉编码器"]
C["文本输入"] --> D["文本编码器"]
B --> E["视觉特征"]
D --> F["文本特征"]
E --> G["Cross-Attention"]
F --> G
G --> H["跨模态特征融合"]
H --> I["联合推理"]
style A fill:#EAF3EC,stroke:#83A995,color:#315D49
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5.4 Cross-Attention 如何实现跨模态交互?
Cross-Attention 是多模态融合的重要机制。
假设文本特征作为 Query,图像特征作为 Key 和 Value:
则跨模态注意力可以表示为:
这里:
- Query 来自文本模态。
- Key 和 Value 来自图像模态。
- Attention 权重表示文本位置对图像特征的关注程度。
- 输出是融合图像信息后的文本表示。
例如,用户问:
图片中左边的物体是什么?
文本 Query 可以通过注意力机制从视觉特征中提取与“左边”“物体”相关的信息。
Cross-Attention 的关键价值是:一个模态可以根据另一个模态提供的查询信息,动态提取相关特征。
不过,Attention 权重不应直接解释为人类意义上的因果解释或严格的视觉定位结果。它只是模型内部的信息加权机制。
六、多模态大模型的主要架构类型
多模态模型并不是只有一种架构。按照模态如何进入语言模型,以及是否共享主干网络,可以大致分为以下几类。
6.1 编码器 + 投影层 + 语言模型
这是较常见的视觉语言模型架构。
典型结构:
- 视觉编码器负责提取图像特征。
- 投影层负责维度映射。
- 语言模型负责理解和生成文本。
flowchart TD
A["输入图像"] --> B["视觉编码器"]
B --> C["视觉特征"]
C --> D["Projector 投影层"]
E["用户文本"] --> F["Tokenizer 与 Embedding"]
D --> G["语言模型输入"]
F --> G
G --> H["LLM Transformer"]
H --> I["文本生成"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F