一、什么是视觉语言模型?
视觉语言模型(Vision-Language Model,VLM)是一类能够联合处理图像和自然语言的多模态模型。
传统语言模型主要处理文本,而视觉语言模型能够同时接收图像和文本指令,并根据视觉内容生成语言回答。
例如,用户上传一张包含汽车、行人和交通信号灯的图片,并提出问题:
图片中有几辆汽车?交通信号灯是什么颜色?行人正在做什么?
模型需要完成:
- 提取图片中的视觉特征。
- 识别汽车、行人和交通信号灯。
- 理解物体之间的空间关系。
- 解析用户提出的文本问题。
- 将文本问题与视觉特征建立关联。
- 根据视觉信息生成自然语言答案。
这类任务涉及视觉感知、语言理解和跨模态推理。
1.1 VLM 与传统计算机视觉模型的区别
传统计算机视觉模型通常针对明确的视觉任务设计,例如图像分类、目标检测、图像分割和 OCR。
VLM 则进一步引入语言理解能力,使模型能够通过自然语言指令完成更加灵活的视觉任务。
| 对比维度 | 传统计算机视觉模型 | 视觉语言模型 |
|---|---|---|
| 输入 | 图像或视频 | 图像与文本 |
| 输出 | 类别、坐标、掩码等 | 自然语言或结构化结果 |
| 任务定义 | 通常预先确定 | 可通过自然语言指令指定 |
| 语义理解 | 侧重视觉任务 | 联合视觉与语言语义 |
| 跨模态交互 | 通常较少 | 核心能力之一 |
| 泛化能力 | 受训练任务影响 | 通常具有更强的任务迁移能力 |
需要注意,VLM 并不意味着传统视觉模型已经被淘汰。在目标检测、工业缺陷检测、精细图像分割等任务中,专用视觉模型仍然具有重要价值。
1.2 VLM 的核心能力
视觉语言模型通常可以支持以下任务:
- 图像描述(Image Captioning):根据图片生成自然语言描述。
- 视觉问答(Visual Question Answering,VQA):根据图片回答用户问题。
- 视觉定位(Visual Grounding):根据文本描述定位图片中的目标区域。
- OCR 与文档理解:识别图片中的文字及其结构关系。
- 图表理解(Chart Understanding):理解图表中的数据、趋势和关系。
- 空间关系理解:识别物体的位置、方向、距离及相互关系。
- 多图对比:分析不同图片之间的差异。
- 视觉推理:结合视觉证据完成多步骤问题分析。
这些能力并不一定全部存在于每个 VLM 中,具体取决于模型结构、训练数据和训练目标。
二、VLM 的整体架构
当前许多视觉语言模型采用以下基本架构:
- Vision Encoder:视觉编码器。
- Projector:视觉特征投影层。
- LLM:语言模型。
- Output Head:输出层。
其核心思想是:
视觉编码器负责理解图片,投影层负责连接视觉特征与语言模型,语言模型负责结合用户指令进行理解、推理和生成。
2.1 典型架构
flowchart TD
A["输入图像"] --> B["图像预处理"]
B --> C["Vision Encoder"]
C --> D["视觉特征"]
D --> E["Projector 投影层"]
F["用户文本"] --> G["Tokenizer"]
G --> H["Text Embedding"]
E --> I["多模态特征组合"]
H --> I
I --> J["LLM Transformer"]
J --> K["上下文理解与视觉推理"]
K --> L["LM Head"]
L --> M["自然语言回答"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这是典型的视觉编码器与语言模型连接架构,不代表所有 VLM 都采用相同结构。
例如,有些模型使用独立视觉编码器和语言模型,通过 Cross-Attention 交互;有些模型则使用统一多模态 Transformer,直接处理不同模态的 Token。
2.2 各组件的职责
| 组件 | 英文名称 | 核心职责 |
|---|---|---|
| 视觉编码器 | Vision Encoder | 提取图像中的视觉特征 |
| 特征投影层 | Projector | 将视觉特征映射到语言模型的输入空间 |
| 语言模型 | LLM | 理解文本指令、关联视觉信息并进行推理 |
| 输出层 | LM Head | 根据隐藏状态预测下一个文本 Token |
其中,Vision Encoder 和 Projector 是理解传统 VLM 架构时需要重点关注的两个组件。
三、Vision Encoder:视觉编码器如何理解图像?
Vision Encoder 是 VLM 的视觉感知模块。
它的主要任务是将原始图像转换为模型能够处理的特征表示。
与文本不同,图像本质上是像素矩阵。语言模型不能直接理解原始像素,因此需要通过视觉编码器提取特征。
3.1 图像的基本表示
一张 RGB 图像可以表示为:
其中:
- H:图像高度。
- W:图像宽度。
- 3:RGB 三个颜色通道。
例如,一张 224\times224 的 RGB 图片包含:
个像素通道数值。
直接将这些数值输入语言模型,会产生非常大的输入维度,因此需要视觉编码过程。
3.2 Vision Transformer 的工作原理
Vision Transformer(ViT)是 VLM 中常见的视觉编码器架构。
它借鉴 Transformer 的序列建模机制,将图像切分为多个 Patch,再将每个 Patch 转换成向量。
假设:
- 输入图像:224\times224。
- Patch 大小:16\times16。
那么 Patch 数量为:
每个 Patch 被展平并进行线性投影。
其中:
- P_i:第 i 个图像 Patch。
- W_p:可学习的投影矩阵。
- b_p:偏置。
- z_i:Patch Embedding。
随后加入位置编码,使模型能够感知不同 Patch 在图片中的空间位置。
flowchart TD
A["输入图像"] --> B["图像预处理"]
B --> C["切分 Patch"]
C --> D["Patch Embedding"]
D --> E["添加位置编码"]
E --> F["Transformer Encoder"]
F --> G["视觉特征序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.3 Self-Attention 如何提取视觉关系?
Patch Embedding 得到的是一组视觉 Token。
这些 Token 需要通过 Self-Attention 建立相互之间的关系。
其中:
- Q:Query,查询向量。
- K:Key,键向量。
- V:Value,值向量。
- d_k:Key 的维度。
通过 Self-Attention,模型能够建立不同图像区域之间的信息关联。
例如:
- 判断多个 Patch 是否属于同一个物体。
- 理解物体与背景之间的关系。
- 识别局部细节与整体场景之间的联系。
- 建立物体之间的空间语义关联。
需要注意,视觉编码器提取的是模型学习到的特征表示,并不是直接生成一份人类可读的物体清单。
3.4 为什么不同 VLM 使用不同视觉编码器?
常见视觉编码器包括:
- ViT:基于 Transformer 的视觉编码器。
- SigLIP:采用图文语义对齐训练的视觉语言编码路线。
- CLIP Vision Encoder:通过图文对比学习获得视觉表示。
- ConvNeXt:基于卷积网络的视觉编码架构。
- EVA:通过大规模视觉预训练获得视觉特征。
不同视觉编码器在以下方面存在差异:
- 图像分辨率适应能力。
- 局部细节提取能力。
- 全局语义理解能力。
- 预训练数据与目标。
- 特征维度。
- 计算成本。
选择视觉编码器时,需要考虑其预训练方式与下游 VLM 任务是否匹配。
四、Projector:如何将视觉特征接入语言模型?
视觉编码器输出的视觉特征,不一定能够直接输入语言模型。
原因是视觉编码器和语言模型通常具有不同的隐藏维度、表示分布和训练目标。
例如:
- Vision Encoder 输出维度:1024。
- LLM 隐藏维度:4096。
两者的维度不一致,无法直接按照普通文本 Embedding 的形式组合。
Projector 的作用就是完成特征空间映射。
4.1 线性投影
最简单的方式是使用线性层:
其中:
- X_v:视觉编码器输出。
- W_p:投影矩阵。
- b_p:偏置。
- Z_v:映射后的视觉特征。
假设:
那么:
投影后的视觉特征就具有与语言模型隐藏维度一致的表示形状。
4.2 MLP 投影
除了线性层,也可以使用多层感知机(MLP)进行非线性映射。
例如:
MLP 能够学习更加复杂的特征映射关系。
与单层线性投影相比,它具有更强的非线性表达能力,但也会增加参数量和计算开销。
4.3 Projector 不只是维度转换
这是理解 VLM 时容易忽略的一点。
Projector 不只是把 1024 维转换成 4096 维。
它还需要帮助视觉特征适应语言模型的表示空间,使语言模型能够有效利用这些视觉信息。
例如:
- 将视觉区域特征映射为适合语言模型处理的向量。
- 保留与语言任务相关的视觉语义。
- 建立视觉表示与语言表示之间的可学习联系。
因此,Projector 的训练质量会直接影响视觉信息能否被语言模型有效利用。
4.4 Q-Former:另一种视觉特征连接方式
BLIP-2 提出了 Q-Former(Querying Transformer)架构。
与简单地将所有视觉特征直接投影到语言模型不同,Q-Former 使用一组可学习的 Query,从视觉编码器输出中提取与任务相关的信息。
基本过程:
- 视觉编码器提取图像特征。
- 一组可学习 Query 作为查询输入。
- Query 通过 Cross-Attention 读取视觉特征。
- 输出数量相对固定的压缩视觉表示。
- 将视觉表示映射到语言模型空间。
flowchart TD
A["输入图像"] --> B["Vision Encoder"]
B --> C["视觉特征序列"]
D["可学习 Query"] --> E["Q-Former"]
C --> E
E --> F["视觉信息提取与压缩"]
F --> G["特征投影"]
G --> H["LLM"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Q-Former 的价值在于通过可学习的查询机制,提取相对紧凑的视觉表示,减少直接传递大量视觉 Token 的压力。
五、视觉 Token:图片如何进入 LLM?
理解视觉 Token,是理解 VLM 推理机制的关键。
传统语言模型的输入通常是:
文本
↓
Tokenizer
↓
Token ID
↓
Embedding
↓
Transformer
VLM 则需要在文本 Token 之外,引入视觉特征。
5.1 文本 Token 与视觉 Token 的区别
| 对比维度 | 文本 Token | 视觉 Token |
|---|---|---|
| 原始数据 | 文本 | 图像 |
| 生成方式 | Tokenizer | 视觉编码器 |
| 基本表示 | 离散 Token ID | 通常为连续向量 |
| 向量来源 | Token Embedding | Vision Encoder |
| 数量 | 由文本长度决定 | 由分辨率、Patch 和编码策略决定 |
| 语义内容 | 语言信息 | 视觉信息 |
这里有一个重要概念:
视觉 Token 不一定是离散整数 ID。
在许多 VLM 中,视觉 Token 实际上是视觉编码器输出的连续向量。
它们经过 Projector 后,作为一组向量嵌入语言模型的输入序列。
5.2 文本与视觉 Token 如何组合?
假设用户提出问题:
这张图片中有什么动物?
文本经过 Tokenizer 后得到:
[这, 张, 图片, 中, 有, 什么, 动物]
图片经过视觉编码器和投影层后,得到:
[V1, V2, V3, V4, ..., VN]
模型可以将两种表示组合起来:
[文本 Token]
+
[视觉特征序列]
+
[任务控制 Token]
概念性表示为:
其中:
- X_{\text{text}}:文本特征。
- X_{\text{vision}}:视觉特征。
- [;]:表示序列拼接。
实际模型还可能加入模态标记、分隔符、位置编码和特殊任务 Token。
需要注意,实际序列排列顺序取决于模型设计,不一定都是文本在前、图像在后。
5.3 为什么视觉 Token 数量很重要?
假设一张图片被编码成 576 个视觉 Token,用户问题包含 30 个文本 Token。
那么模型输入序列的有效长度可能达到:
如果输入的是多张图片,或者视频包含多个采样帧,Token 数量会进一步增加。
标准全局 Self-Attention 的计算复杂度与序列长度平方相关:
因此,视觉 Token 数量会直接影响:
- Prefill 计算成本。
- Attention 显存占用。
- KV Cache 大小。
- 推理延迟。
- 上下文窗口使用量。
这也是为什么现代 VLM 会采用图像切片、Patch 合并、视觉 Token 压缩和动态分辨率等技术。
六、VLM 如何实现跨模态理解?
视觉编码器能够提取图像特征,但这并不意味着模型已经理解了用户提出的问题。
模型还需要将文本问题与视觉特征建立联系。
这一过程称为跨模态交互(Cross-modal Interaction)。
6.1 Self-Attention 与 Cross-Attention
VLM 常见的跨模态信息交互方式包括:
- 通过统一序列中的 Self-Attention 实现视觉与文本交互。
- 通过 Cross-Attention 让文本特征读取视觉特征。
- 通过其他专门的融合模块交换模态信息。
以 Cross-Attention 为例:
假设文本表示作为 Query,视觉特征作为 Key 和 Value:
则:
这里,文本 Query 可以根据当前问题,从视觉特征中提取相关信息。
例如:
用户问题:
图片中左侧桌子上的物品是什么?
模型需要重点关注:
- 左侧区域。
- 桌子所在区域。
- 桌子上的局部物体。
- 与问题相关的视觉细节。
Cross-Attention 能够提供一种动态信息检索机制,使语言特征可以根据问题从视觉特征中读取相关内容。
6.2 视觉问答的完整过程
以用户询问图片中的物体为例:
flowchart TD
A["用户上传图片"] --> B["Vision Encoder"]
B --> C["视觉特征提取"]
D["用户输入问题"] --> E["Tokenizer"]
E --> F["文本特征表示"]
C --> G["多模态输入融合"]
F --> G
G --> H["LLM Transformer"]
H --> I["视觉与文本联合推理"]
I --> J["生成回答"]
J --> K["输出自然语言"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要区分视觉感知与语言推理:
- Vision Encoder 主要负责提取视觉信息。
- LLM 负责结合视觉表示和文本指令完成任务。
- 两者通过投影、融合或跨注意力机制建立联系。
不能简单认为 LLM 自身已经具备完整的像素级视觉感知能力。
七、VLM 的训练机制
VLM 的训练目标不仅是让模型识别图片,还需要让模型理解图片与语言之间的关系。
典型训练过程包括:
- 视觉编码器预训练。
- 图文对齐训练。
- 视觉语言连接模块训练。
- 多模态指令微调。
- 偏好对齐与安全训练。
不同模型的训练流程并不完全相同,有些阶段会合并执行,也有些模型会直接联合训练视觉编码器和语言模型。
7.1 视觉编码器预训练
视觉编码器需要先学习图像中的视觉结构和语义特征。
常见训练方式包括:
- 图像分类。
- 自监督视觉学习。
- 图像对比学习。
- 掩码图像建模。
- 图文联合预训练。
例如,ViT 可以通过大规模图像数据学习视觉特征。
如果视觉编码器已经具备较强的视觉表示能力,就可以减少 VLM 后续训练的难度。
7.2 图文对齐训练
图文对齐训练的目标是让图片与对应文本建立语义联系。
CLIP 是典型代表。
它使用图像编码器和文本编码器分别提取特征:
再通过对比学习,让匹配的图文特征更加接近,不匹配的图文特征更加远离。
相似度可以使用余弦相似度:
这种方法能够让模型学习图片与自然语言描述之间的对应关系。
需要注意,CLIP 本身主要学习图文表示对齐,并不是一个完整的对话式 VLM。它通常不能像生成式视觉语言模型那样直接进行开放式多轮图像问答。
7.3 视觉语言连接模块训练
视觉编码器与语言模型通常具有不同的表示空间。
因此,需要训练 Projector 或 Q-Former 等连接模块,使视觉特征能够被语言模型有效利用。
常见训练方式:
- 冻结视觉编码器和语言模型,仅训练连接模块。
- 冻结视觉编码器,联合训练 Projector 和语言模型。
- 对视觉编码器、连接模块和语言模型进行联合微调。
冻结部分模块可以降低训练成本,也能保留已有模型的能力。
7.4 多模态指令微调
视觉语言模型需要理解用户通过自然语言提出的任务。
例如:
| 图像输入 | 用户指令 | 训练目标 |
|---|---|---|
| 猫的图片 | 描述图片内容 | 生成图像描述 |
| 交通场景 | 识别交通信号灯颜色 | 回答视觉问题 |
| 文档图片 | 提取图片中的文字 | 输出 OCR 内容 |
| 数学图表 | 分析数据变化趋势 | 生成分析结果 |
| 多张图片 | 比较两张图片的差异 | 输出对比结论 |
指令微调能够让模型从单纯的图文关联能力,进一步发展为可执行自然语言视觉任务的模型。
7.5 训练目标
VLM 可以使用多种损失函数。
例如:
图文对比损失:
用于学习图像与文本之间的语义对齐关系。
自回归语言建模损失:
其中:
- I:图像输入。
- X:文本指令。
- y_t:目标输出 Token。
- y_{<t}:此前已经生成的 Token。
该目标要求模型根据图像和文本上下文预测正确的输出序列。
多任务训练时,可以将多个目标组合:
其中 \lambda_1,\lambda_2,\lambda_3 是不同损失项的权重。
实际模型不一定同时使用上述所有损失,具体取决于训练阶段和模型设计。
八、VLM 的推理过程
理解训练机制后,再看模型在实际应用中如何完成一次视觉问答。
假设用户上传一张图片,并提出:
这张图片中有几个人?他们分别在做什么?
8.1 推理阶段的处理步骤
第一步:图像预处理
系统读取图像,执行尺寸调整、裁剪、归一化等操作。
第二步:视觉特征提取
Vision Encoder 将图像转换为视觉特征序列。
第三步:特征投影
Projector 将视觉特征映射到语言模型可处理的表示空间。
第四步:文本编码
Tokenizer 将用户问题转换成文本 Token,Embedding 层生成文本向量。
第五步:多模态特征组合
视觉特征与文本特征按照模型架构进行组合。
第六步:语言模型推理
Transformer 利用视觉信息和文本上下文生成输出表示。
第七步:文本生成
LM Head 生成下一个 Token 的概率分布,再根据解码策略选择 Token。
第八步:输出答案
模型持续生成,直到满足停止条件。