返回专栏
· 19 分钟阅读

多模态大模型的工作原理:从文本理解到图像、音频与视频的统一建模


一、什么是多模态大模型?

传统语言模型主要处理文本,将文本切分为 Token,再映射为向量,通过 Transformer 建模上下文关系,最终预测下一个 Token。

但真实世界的信息并不只有文本,还包括:

  • 图像:物体、场景、空间关系、文字和视觉细节。
  • 音频:语音、音乐、环境声音、语气和情绪线索。
  • 视频:连续画面、运动变化、场景切换和时间关系。
  • 空间数据:位置、方向、深度、姿态和运动轨迹。
  • 文本:自然语言、代码、结构化描述和指令。

多模态大模型(Multimodal Large Language Model,MLLM)能够处理两种或更多模态的信息,并在不同模态之间建立语义关联。

例如,用户上传一张图片并询问:

图片中的车辆是什么颜色?它停在什么位置?

模型需要完成多个任务:

  1. 识别图片中的车辆。
  2. 提取车辆颜色等视觉属性。
  3. 理解车辆与周围环境的空间关系。
  4. 理解用户的文本问题。
  5. 将视觉信息与文本问题关联。
  6. 组织自然语言答案。

这不只是图像识别和文本生成的简单组合,而是不同模态之间的信息表示、对齐和联合推理。

1.1 单模态模型与多模态模型

对比维度 单模态模型 多模态模型
输入数据 一种主要数据类型 多种数据类型
数据表示 单一模态编码 多种模态编码
特征空间 主要在同一模态内建模 需要跨模态关联
训练目标 模态内预测或生成 模态内与跨模态目标
输出形式 通常为单一模态 可支持多种模态
典型任务 文本生成、图像分类 图文问答、语音对话、视频理解

需要注意:多模态模型不一定能够处理所有模态,也不意味着所有输入和输出都可以任意组合。具体能力取决于模型架构、训练数据和训练目标。

1.2 多模态大模型的核心组成

一个典型的多模态大模型通常包含以下部分:

  • 模态编码器(Modality Encoder):将图像、音频、视频等原始数据转换为特征表示。
  • 投影层(Projector):将不同模态的特征映射到模型能够处理的表示空间。
  • 融合模块(Fusion Module):建立不同模态之间的信息交互。
  • 语言模型骨干(LLM Backbone):利用 Transformer 建模上下文、执行推理并组织输出。
  • 模态解码器(Modality Decoder):将模型内部表示转换为图像、音频等目标模态。
  • 任务控制模块:根据任务决定输入解析、模态路由、生成方式和输出格式。

并不是所有模型都采用完全相同的组件。部分模型直接使用统一 Transformer 处理多种模态,部分模型则通过专用编码器和解码器完成模态转换。

二、多模态模型的整体工作流程

从整体上看,多模态模型需要解决三个核心问题:

  1. 如何将不同模态的数据转换成模型能够处理的表示?
  2. 如何让不同模态的表示建立联系?
  3. 如何根据任务要求生成对应模态的结果?

2.1 典型处理架构

以下是采用独立模态编码器和语言模型骨干的典型架构:

flowchart TD
    A["多模态输入"] --> B["输入类型识别与预处理"]
    B --> C["模态路由"]

    C --> D["文本编码"]
    C --> E["图像编码"]
    C --> F["音频编码"]
    C --> G["视频帧与时序编码"]

    D --> H["特征投影与表示对齐"]
    E --> H
    F --> H
    G --> H

    H --> I["跨模态融合"]
    I --> J["Transformer 主干网络"]
    J --> K["上下文理解与任务推理"]
    K --> L["输出任务路由"]

    L --> M["文本生成"]
    L --> N["图像生成"]
    L --> O["音频生成"]
    L --> P["视频或其他结构化输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style O fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style P fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

这是概念性架构,不代表所有多模态模型都严格遵循该结构。

例如:

  • 图像理解模型可能使用视觉编码器,将图像特征投影到语言模型的输入空间。
  • 语音对话模型可能采用音频 Token 与文本 Token 混合建模。
  • 图像生成模型可能使用扩散模型或自回归视觉 Token 解码器。
  • 原生多模态模型可能在统一 Transformer 中处理多种模态的序列。

三、不同模态如何转换为 Token?

多模态模型的一个关键问题是:文本、图像、音频和视频的数据结构完全不同,如何让同一个模型处理它们?

核心思路是将不同模态转换成向量或离散 Token 序列,再通过统一或兼容的表示接口输入模型。

但不同模态的编码方法并不相同。

3.1 文本:Token ID 与 Embedding

文本模型通常使用 Tokenizer 将文本切分成 Token,并映射为整数 ID。

例如:

输入文本:
多模态大模型

Tokenizer:
["多", "模态", "大", "模型"]

Token ID:
[1024, 2381, 512, 819]

随后通过 Embedding 层,将 Token ID 映射为连续向量:

X_{\text{text}}=Embedding(TokenIDs)

得到的文本向量可以作为 Transformer 的输入。

需要注意,实际 Tokenizer 的切分方式由词表决定,上面的切分仅用于说明原理。

3.2 图像:从像素到视觉 Token

图像的原始数据通常表示为像素矩阵。

一张 RGB 图像可以表示为:

I\in \mathbb{R}^{H\times W\times 3}

其中:

  • H:图像高度。
  • W:图像宽度。
  • 3:RGB 三个颜色通道。

直接将所有像素输入语言模型并不现实,因此通常需要视觉编码器提取特征。

以 Vision Transformer(ViT)为例,图像会被切分为多个 Patch。

假设输入图像大小为:

224\times224

Patch 大小为:

16\times16

则 Patch 数量为:

N=\frac{224}{16}\times\frac{224}{16}=196

每个 Patch 会被转换成向量,再经过线性投影和位置编码,形成视觉 Token 序列。

flowchart TD
    A["输入 RGB 图像"] --> B["图像尺寸与预处理"]
    B --> C["切分为 Patch"]
    C --> D["Patch 展平"]
    D --> E["线性投影"]
    E --> F["添加位置编码"]
    F --> G["视觉 Transformer"]
    G --> H["视觉特征序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Patch Embedding 可以简化表示为:

z_i=W_p\cdot Flatten(P_i)+b_p

其中:

  • P_i:第 i 个图像 Patch。
  • Flatten:将 Patch 展平。
  • W_p:可学习的投影矩阵。
  • b_p:偏置参数。
  • z_i:Patch 对应的视觉向量。

随后,视觉 Transformer 通过 Self-Attention 建模不同 Patch 之间的关系。

例如:

  • 哪些区域属于同一个物体。
  • 物体之间的空间关系。
  • 图像中的局部纹理和整体场景。
  • 文字区域与其他视觉对象的关系。

需要注意:视觉 Token 不一定等于一个 Patch。实际模型可能采用重叠 Patch、多尺度特征、区域特征、动态分辨率、裁剪切片或其他视觉编码方式。

对于高分辨率图像,模型还可能将图像拆分为多个局部区域,以保留更精细的视觉信息。

3.3 音频:从波形到音频 Token

音频与图像不同,它本质上是一段随时间变化的信号。

数字音频可以表示为离散采样序列:

x=[x_1,x_2,\ldots,x_T]

其中每个 x_t 表示某个采样时刻的振幅。

音频模型通常不会直接把原始波形作为普通文本 Token 处理,而是通过音频编码器提取特征。

常见处理方式包括:

  • 波形编码:直接处理采样信号。
  • 频谱编码:将音频转换为时频表示。
  • Mel Spectrogram:将频谱映射到 Mel 频率尺度。
  • 神经音频编码:使用神经网络提取连续或离散音频表示。
  • 语音识别编码:提取适合语音内容理解的特征。

以 Mel Spectrogram 为例:

flowchart TD
    A["原始音频波形"] --> B["分帧与加窗"]
    B --> C["短时傅里叶变换 STFT"]
    C --> D["功率谱计算"]
    D --> E["Mel 滤波器组"]
    E --> F["对数压缩"]
    F --> G["Mel Spectrogram"]
    G --> H["音频编码器"]
    H --> I["音频特征序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

短时傅里叶变换(STFT)用于分析音频在不同时间窗口内的频率分布:

X(m,k)=\sum_{n=0}^{N-1}x[n+mH]w[n]e^{-j2\pi kn/N}

其中:

  • m:时间帧索引。
  • k:频率索引。
  • N:窗口长度。
  • H:帧移长度。
  • w[n]:窗函数。

Mel 频谱能够将音频转换为更适合感知和模型处理的时频特征。

不过,并不是所有多模态音频模型都采用 Mel Spectrogram。有些模型直接使用原始波形或学习型音频编码器,也有模型将音频编码为离散 Token。

3.4 视频:从连续画面到时空 Token

视频可以理解为按照时间顺序排列的图像帧。

一个视频可以表示为:

V=\{I_1,I_2,\ldots,I_T\}

其中 I_t 表示第 t 个视频帧。

视频模型不仅需要理解每一帧的内容,还需要理解帧与帧之间的时间关系。

典型处理过程包括:

  1. 视频解码。
  2. 按时间间隔采样视频帧。
  3. 对每一帧进行视觉编码。
  4. 添加时间位置或时序信息。
  5. 建立跨帧关系。
  6. 形成视频特征序列。
flowchart TD
    A["输入视频"] --> B["视频解码"]
    B --> C["按时间采样帧"]
    C --> D["图像视觉编码"]
    D --> E["添加时间信息"]
    E --> F["时序特征建模"]
    F --> G["视频时空表示"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

视频理解与单张图像理解存在本质差异。

例如:

  • 单张图片能够识别一个人正在跑步的姿态。
  • 视频能够分析这个人从静止到开始跑步的动作变化。
  • 连续视频还可以判断动作发生的顺序、持续时间和场景变化。

视频模型需要同时建模空间信息和时间信息:

Z_{\text{video}}=f(I_1,I_2,\ldots,I_T,\mathcal{T})

其中 \mathcal{T} 表示时间信息。

视频处理也可能使用 3D 卷积、时空 Transformer、稀疏帧采样、关键帧提取或视频专用 Tokenizer,不局限于逐帧图像编码。

四、跨模态对齐:不同模态如何建立语义联系?

将不同模态转换成向量,并不意味着它们天然具有相同语义空间。

例如:

  • 文本中的“猫”是一个语言 Token。
  • 图像中的猫是由大量像素组成的视觉区域。
  • 音频中的猫叫声是一段声学信号。

它们的原始数据结构不同,编码器产生的向量分布也可能不同。

多模态模型需要解决跨模态对齐(Cross-modal Alignment)问题。

4.1 什么是跨模态对齐?

跨模态对齐的目标是让不同模态中表达相同或相关语义的信息,在模型表示空间中建立可学习的对应关系。

例如:

  • 文本:“一只橘猫坐在沙发上。”
  • 图像:一张橘猫坐在沙发上的照片。

模型需要学习文本语义与图像内容之间的对应关系。

一种常见思路是对比学习(Contrastive Learning)。

4.2 对比学习的基本原理

以图文对比学习为例,分别使用图像编码器和文本编码器提取特征:

v_i=f_{\text{image}}(I_i)
t_i=f_{\text{text}}(T_i)

随后将特征映射到可比较的向量空间,并进行归一化。

使用余弦相似度计算图像与文本之间的匹配程度:

s(v_i,t_j)=\frac{v_i^Tt_j}{\|v_i\|\|t_j\|}

训练目标是:

  • 提高匹配图文对的相似度。
  • 降低不匹配图文对的相似度。

例如,一个 Batch 中有 4 组图文:

图像 文本 匹配关系
图片 A 描述 A 正样本
图片 B 描述 B 正样本
图片 C 描述 C 正样本
图片 D 描述 D 正样本
图片 A 描述 B 负样本
图片 A 描述 C 负样本

模型通过大量正负样本学习跨模态对应关系。

一种常见的对称对比损失可以表示为:

L=\frac{1}{2}(L_{I\rightarrow T}+L_{T\rightarrow I})

其中,图像到文本方向的损失为:

L_{I\rightarrow T} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{\exp(s(v_i,t_i)/\tau)} {\sum_{j=1}^{N}\exp(s(v_i,t_j)/\tau)}

其中:

  • N:Batch 中的样本数量。
  • s(v_i,t_j):图像与文本的相似度。
  • \tau:温度参数。

这种训练方式可以让图像和文本在共享表示空间中建立语义关联。

CLIP 是图文对比学习的典型代表。它通过大规模图文配对数据学习图像和文本之间的语义对应关系。

需要注意:对比学习只是跨模态对齐的一种方法。多模态大模型还可能使用匹配损失、生成式训练、跨注意力、监督微调等方式建立对齐关系。

4.3 对齐不等于完全相同

跨模态对齐并不是让图像、文本和音频变成完全相同的向量。

它更重要的目标是建立语义关联。

例如:

  • 一张狗的图片。
  • 文本“狗”。
  • 一段狗叫声。

三种表示仍然保留各自模态的信息特征,但模型能够理解它们之间的语义联系。

这也是为什么多模态模型既需要共享表示,也需要保留模态特有的信息。

五、跨模态融合:不同模态如何共同参与推理?

完成模态编码和语义对齐之后,模型还需要将不同模态的信息结合起来。

这一过程称为跨模态融合(Cross-modal Fusion)。

常见融合方式主要包括三类。

5.1 早期融合(Early Fusion)

早期融合通常在模型较早的层级,将不同模态的 Token 合并到同一个序列中。

例如:

文本 Token:
[T1, T2, T3]

图像 Token:
[I1, I2, I3, I4]

融合序列:
[T1, T2, T3, I1, I2, I3, I4]

随后由统一 Transformer 处理。

flowchart TD
    A["文本 Token"] --> C["统一序列构建"]
    B["图像 Token"] --> C
    C --> D["统一 Transformer"]
    D --> E["跨模态 Self-Attention"]
    E --> F["联合语义表示"]

    style A fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 不同模态可以直接进行 Self-Attention。
  • 模态之间的信息交互较为灵活。
  • 可以构建统一的序列建模架构。

缺点:

  • 多模态 Token 数量可能非常庞大。
  • Attention 计算成本和显存占用较高。
  • 不同模态的序列长度差异较大,可能影响训练效率。

5.2 后期融合(Late Fusion)

后期融合先独立处理不同模态,再在高层表示或任务输出阶段融合结果。

例如:

图像编码器 → 图像特征 ┐
                       ├→ 特征融合 → 任务输出
文本编码器 → 文本特征 ┘

其特点是:

  • 不同模态可以使用专门的编码器。
  • 模态内部特征提取相对独立。
  • 融合发生在较高层级。
  • 对不同模态的独立处理能力较强。

但如果融合发生得太晚,模型可能难以充分利用细粒度的跨模态交互信息。

5.3 中间融合(Intermediate Fusion)

中间融合是在编码过程的多个阶段建立跨模态交互。

例如,图像特征和文本特征先分别编码,再通过 Cross-Attention 进行信息交换。

flowchart TD
    A["图像输入"] --> B["视觉编码器"]
    C["文本输入"] --> D["文本编码器"]

    B --> E["视觉特征"]
    D --> F["文本特征"]

    E --> G["Cross-Attention"]
    F --> G

    G --> H["跨模态特征融合"]
    H --> I["联合推理"]

    style A fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

5.4 Cross-Attention 如何实现跨模态交互?

Cross-Attention 是多模态融合的重要机制。

假设文本特征作为 Query,图像特征作为 Key 和 Value:

Q=X_{\text{text}}W_Q
K=X_{\text{image}}W_K
V=X_{\text{image}}W_V

则跨模态注意力可以表示为:

Attention(Q,K,V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V

这里:

  • Query 来自文本模态。
  • Key 和 Value 来自图像模态。
  • Attention 权重表示文本位置对图像特征的关注程度。
  • 输出是融合图像信息后的文本表示。

例如,用户问:

图片中左边的物体是什么?

文本 Query 可以通过注意力机制从视觉特征中提取与“左边”“物体”相关的信息。

Cross-Attention 的关键价值是:一个模态可以根据另一个模态提供的查询信息,动态提取相关特征。

不过,Attention 权重不应直接解释为人类意义上的因果解释或严格的视觉定位结果。它只是模型内部的信息加权机制。

六、多模态大模型的主要架构类型

多模态模型并不是只有一种架构。按照模态如何进入语言模型,以及是否共享主干网络,可以大致分为以下几类。

6.1 编码器 + 投影层 + 语言模型

这是较常见的视觉语言模型架构。

典型结构:

  • 视觉编码器负责提取图像特征。
  • 投影层负责维度映射。
  • 语言模型负责理解和生成文本。
flowchart TD
    A["输入图像"] --> B["视觉编码器"]
    B --> C["视觉特征"]
    C --> D["Projector 投影层"]

    E["用户文本"] --> F["Tokenizer 与 Embedding"]

    D --> G["语言模型输入"]
    F --> G

    G --> H["LLM Transformer"]
    H --> I["文本生成"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F