一、什么是多模态 RAG?
传统 RAG(Retrieval-Augmented Generation,检索增强生成)主要处理文本数据。
典型场景是:用户提出问题,系统从知识库中检索相关文本片段,将检索结果作为上下文交给大语言模型生成答案。
但在真实业务中,知识并不总是以纯文本形式存在。
例如:
- 产品手册中包含大量结构图和设备照片。
- 医疗资料包含文字、医学影像和检查报告。
- 视频监控包含连续画面、语音和时间信息。
- 企业知识库包含 PDF、Excel、PPT、图片和录音。
- 工业设备资料包含图纸、仪表读数和操作视频。
- 电商商品信息包含标题、描述、商品图片和演示视频。
如果只提取其中的文本,可能丢失大量关键知识。
多模态 RAG(Multimodal RAG)将不同模态的数据纳入统一的知识检索体系,使系统能够根据文本、图片、音频、视频等信息进行检索,并将相关证据提供给多模态大模型。
1.1 多模态 RAG 与传统 RAG 的区别
| 对比维度 | 传统 RAG | 多模态 RAG |
|---|---|---|
| 数据类型 | 主要是文本 | 文本、图像、音频、视频等 |
| 文档解析 | 文本提取与切分 | 多模态解析与内容理解 |
| 向量表示 | 文本 Embedding | 单模态及跨模态 Embedding |
| 检索方式 | 关键词、文本向量 | 文本、图像、音频及跨模态检索 |
| 结果内容 | 文本 Chunk | 文本、图片、音频片段、视频帧等 |
| 上下文组装 | 文本上下文 | 多模态上下文 |
| 模型能力 | 文本生成模型 | 多模态理解与生成模型 |
| 主要难点 | 文本召回与相关性 | 模态对齐、时间关联、跨模态检索 |
多模态 RAG 并不是简单地在传统 RAG 中增加图片字段,而是需要重新设计数据解析、知识表示、索引组织、检索融合和模型输入机制。
1.2 多模态 RAG 的核心目标
主要解决五类问题:
- 多模态知识接入:能够解析不同格式的数据。
- 统一知识表示:建立文本、图像、音频、视频之间的关联。
- 跨模态检索:支持文本查图片、图片查文本、文本查视频等场景。
- 多模态上下文融合:将检索结果组织成模型能够理解的输入。
- 证据可追溯:能够定位知识来源、文档位置、视频时间戳和原始媒体内容。
二、多模态 RAG 的整体架构
多模态 RAG 可以划分为数据处理链路和在线检索生成链路。
数据处理链路负责将原始多模态数据转换为可检索的知识资产。
在线链路负责理解用户问题、检索多模态证据、组织上下文并调用模型生成结果。
2.1 系统整体架构
flowchart TB
A["多模态数据源"] --> B["数据接入层"]
B --> C["多模态解析层"]
C --> D["内容标准化与知识抽取"]
D --> E["多模态知识切分"]
E --> F["特征提取与 Embedding"]
E --> G["元数据与关联关系"]
F --> H["向量索引"]
G --> I["结构化索引"]
D --> J["原始媒体存储"]
H --> K["多模态检索服务"]
I --> K
J --> K
L["用户查询"] --> M["查询理解与模态识别"]
M --> K
K --> N["跨模态召回与结果融合"]
N --> O["重排序与证据筛选"]
O --> P["多模态上下文组装"]
P --> Q["多模态大模型"]
Q --> R["答案与证据返回"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style O fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style P fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style Q fill:#EAF3EC,stroke:#83A995,color:#315D49
style R fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2.2 数据处理链路
数据处理链路属于离线或准实时处理。
主要工作:
- 获取原始文件。
- 识别数据类型。
- 提取文本与媒体内容。
- 生成多模态知识片段。
- 提取模态特征。
- 建立向量索引。
- 保存元数据和媒体关联关系。
数据处理完成后,知识可以被在线检索服务使用。
2.3 在线检索链路
在线链路主要负责:
- 识别用户查询意图。
- 判断查询包含哪些模态。
- 选择检索策略。
- 执行多路召回。
- 合并和排序结果。
- 获取原始媒体证据。
- 构造模型上下文。
- 返回答案和引用。
在线链路需要重点控制检索延迟、上下文长度和媒体传输成本。
三、多模态数据接入与解析
多模态 RAG 的第一项基础工作,是将不同来源的数据转化为统一的知识处理对象。
3.1 多模态数据类型
| 模态 | 数据形式 | 主要处理任务 |
|---|---|---|
| 文本 | TXT、Markdown、HTML | 文本提取、清洗、切分 |
| 图片 | JPG、PNG、WebP | OCR、图像理解、区域检测 |
| 音频 | WAV、MP3、AAC | 语音识别、说话人识别、音频理解 |
| 视频 | MP4、MOV、WebM | 抽帧、镜头分割、语音提取 |
| 表格 | CSV、Excel | 表格结构解析、字段抽取 |
| 演示文稿 | PPT、PPTX | 页面解析、文字与图片提取 |
| PDF 文档 | 文本、版面、图片和表格解析 | |
| 结构化数据 | JSON、数据库记录 | Schema 解析、实体与关系抽取 |
不同模态需要不同的解析技术,不能统一使用文本提取器处理。
3.2 文档解析
PDF、Word 和 PPT 等文档通常包含多种内容:
- 标题。
- 正文。
- 表格。
- 图片。
- 图注。
- 页眉页脚。
- 页面布局。
- 章节层级。
解析时需要保留内容之间的结构关系。
例如,一张架构图可能位于某个章节中,旁边还有解释文字。
如果只提取图片而丢失章节信息,后续检索就很难判断这张图片描述的是什么系统。
建议建立文档结构树:
{
"document_id": "doc_1001",
"title": "系统架构设计",
"pages": [
{
"page_number": 1,
"sections": [
{
"section_id": "sec_001",
"title": "整体架构",
"blocks": [
{
"block_id": "block_001",
"type": "text",
"content": "系统由接入层、服务层和数据层组成。"
},
{
"block_id": "block_002",
"type": "image",
"asset_id": "asset_001"
}
]
}
]
}
]
}
这样能够保留文本、图片与章节之间的关系。
3.3 图片解析
图片处理通常包含多个阶段:
- 图片格式识别。
- 分辨率和尺寸检查。
- OCR 文字识别。
- 图像内容理解。
- 目标与区域识别。
- 图像描述生成。
- 图片特征向量生成。
- 元数据保存。
不同技术承担不同任务。
OCR
负责识别图片中的文字,适用于:
- 截图。
- 扫描件。
- 表格图片。
- 票据。
- 图纸中的文字标注。
视觉语言模型(VLM)
负责理解图片中的语义内容,例如:
- 图片描述。
- 场景识别。
- 物体关系。
- 图表解释。
- 图片问答。
目标检测与区域识别
用于识别图片中的特定对象或区域。
例如,工业设备图片中需要定位仪表、按钮和异常部件。
图片解析结果可以包含:
{
"asset_id": "image_001",
"type": "image",
"source_document": "doc_1001",
"description": "展示一个由接入层、业务服务层和数据层组成的系统架构。",
"ocr_text": [
"API Gateway",
"Business Service",
"Database"
],
"objects": [
{
"label": "API Gateway",
"bbox": [0.1, 0.2, 0.3, 0.4]
}
],
"page_number": 3
}
其中 bbox 用于描述目标在图片中的位置,具体坐标格式需要在系统中统一约定。
3.4 音频解析
音频数据需要考虑语音内容、时间信息和说话人信息。
常见处理:
- 语音活动检测(VAD)。
- 自动语音识别(ASR)。
- 说话人分离(Diarization)。
- 时间戳提取。
- 音频事件识别。
- 情绪或语气分析(按业务需要)。
ASR 的结果不应该只保存为一段完整文本,还应该保留片段时间范围。
例如:
{
"asset_id": "audio_001",
"segments": [
{
"segment_id": "seg_001",
"start": 0.0,
"end": 3.5,
"speaker": "speaker_1",
"text": "今天介绍系统的整体架构。"
},
{
"segment_id": "seg_002",
"start": 3.6,
"end": 8.2,
"speaker": "speaker_1",
"text": "系统主要包含三个核心模块。"
}
]
}
时间戳能够支持后续定位原始音频和视频中的具体片段。
3.5 视频解析
视频是多模态 RAG 中复杂度较高的数据类型。
视频不仅包含图像,还包含:
- 连续视频帧。
- 音频轨道。
- 字幕。
- 时间信息。
- 场景变化。
- 镜头切换。
- 动作与事件。
不能简单地将视频理解为一张图片,也不能只提取整段语音文本。
视频解析通常包括:
视频元信息提取
- 时长。
- 分辨率。
- 帧率。
- 编码格式。
- 音轨信息。
镜头与场景分割
根据画面变化识别不同场景。
关键帧抽取
从视频中选择能够代表场景内容的帧。
音频处理
提取语音、说话人和音频事件。
时间轴对齐
将视频帧、语音片段和字幕关联到统一时间轴。
视频数据可以形成如下结构:
{
"asset_id": "video_001",
"duration": 120.0,
"scenes": [
{
"scene_id": "scene_001",
"start": 0.0,
"end": 35.0,
"keyframes": [
{
"timestamp": 5.2,
"asset_id": "frame_001"
},
{
"timestamp": 18.5,
"asset_id": "frame_002"
}
],
"transcript": [
{
"start": 2.0,
"end": 8.0,
"text": "首先介绍设备的安装步骤。"
}
]
}
]
}
视频中的关键帧和语音片段必须保留原始视频标识与时间戳,否则检索结果无法准确定位原始内容。
四、多模态知识表示与数据模型
多模态 RAG 的核心难点之一,是如何将不同模态的数据组织成可检索、可关联、可追溯的知识对象。
不能简单地把所有数据转换成文本后就认为完成了多模态知识建模。
4.1 统一知识对象
可以将知识统一抽象为 Asset、Block、Chunk、Embedding 和 Relation 等对象。
| 对象 | 职责 |
|---|---|
| Asset | 原始文件或媒体资源 |
| Block | 文档中的内容单元 |
| Chunk | 可检索的知识片段 |
| Embedding | 模态特征向量 |
| Relation | 不同知识对象之间的关系 |
| Metadata | 来源、时间、权限等属性 |
例如:
Document
├── Section
│ ├── Text Block
│ ├── Image Block
│ └── Table Block
└── Video Asset
├── Scene
│ ├── Keyframe
│ └── Transcript Segment
└── Audio Segment
这个结构能够保留内容的层级关系和跨模态关联。
4.2 多模态 Chunk
传统文本 Chunk 主要包含一段文字。
多模态 Chunk 则可以包含不同类型的内容。
例如:
{
"chunk_id": "chunk_001",
"document_id": "doc_1001",
"content_type": "multimodal",
"text": "系统整体架构包含接入层、业务层和数据层。",
"assets": [
{
"asset_id": "image_001",
"type": "image"
}
],
"metadata": {
"page": 3,
"section": "整体架构",
"tenant_id": "tenant_001"
}
}
需要注意,Chunk 的逻辑内容与实际媒体文件应该分开存储。
Chunk 保存关联关系,原始图片、音频和视频则保存到对象存储或媒体存储系统中。
4.3 多模态关联关系
不同模态之间存在大量关联。
例如:
- 文本描述对应一张图片。
- 图片属于某个 PDF 页面。
- 视频帧属于某个视频场景。
- 语音片段对应视频中的一段时间。
- 表格属于某个文档章节。
- 图片中的区域对应 OCR 识别结果。
可以将这些关系建模为图结构:
flowchart TD
A["Document"] --> B["Section"]
B --> C["Text Chunk"]
B --> D["Image Asset"]
B --> E["Table Asset"]
D --> F["Image Embedding"]
D --> G["OCR Result"]
D --> H["Image Caption"]
I["Video Asset"] --> J["Scene"]
J --> K["Keyframe"]
J --> L["Transcript Segment"]
K --> M["Frame Embedding"]
L --> N["Text Embedding"]
G --> O["Cross-modal Relation"]
H --> O
C --> O
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style L fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style M fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style O fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
关系建模可以通过关系型数据库、文档数据库或图数据库实现,不一定必须引入独立图数据库。
4.4 多模态元数据
多模态数据需要比普通文本更丰富的元数据。
图片可能需要:
- 宽度和高度。
- 图片格式。
- OCR 内容。
- 图像描述。
- 图片来源。
- 页面位置。
音频可能需要:
- 采样率。
- 声道数。
- 时长。
- 语言。
- 说话人。
- 时间片段。
视频可能需要:
- 视频时长。
- 帧率。
- 场景范围。
- 关键帧时间戳。
- 音轨关联。
- 字幕片段。
统一元数据模型可以使用公共字段加模态专属扩展字段,避免将所有字段强行设计成同一套简单结构。
五、多模态 Embedding 与特征空间
多模态检索的基础是将不同模态转换为可计算的特征表示。
传统文本 RAG 使用文本 Embedding。
多模态 RAG 则可能使用:
- 文本 Embedding。
- 图像 Embedding。
- 音频 Embedding。
- 视频帧 Embedding。
- 跨模态联合 Embedding。
5.1 单模态 Embedding
每一种模态可以使用专门的模型提取特征。
例如:
其中:
- f_t:文本编码器。
- f_i:图像编码器。
- f_a:音频编码器。
- f_v:视频编码器。
不同编码器可能产生不同维度的向量,也可能处于完全不同的特征空间。
因此,不能默认所有模态的向量都可以直接进行余弦相似度比较。
5.2 跨模态联合 Embedding
部分多模态模型通过联合训练,使不同模态的特征映射到共享语义空间。
例如:
如果模型经过跨模态对比学习,文本与图片的向量可以在共享空间中进行相似度计算。
例如:
文本:
一辆红色汽车停在路边。
图片:
一张包含红色汽车和道路的照片。
系统可以通过跨模态向量相似度找到对应图片。
5.3 对比学习机制
跨模态表示学习常使用对比学习。
核心思想:
- 匹配的文本和图片作为正样本。
- 不匹配的文本和图片作为负样本。
- 提高正样本相似度。
- 降低负样本相似度。
一种常见的对比损失形式:
其中:
- z_t:文本向量。
- z_i:匹配的图像向量。
- sim:相似度函数。
- \tau:温度参数。
这类训练方式能够让不同模态中语义相近的内容靠近。
需要注意,共享特征空间不意味着所有细节都能被完整保留。例如,图片中的小字、精确数字和细粒度空间关系,可能仍然需要 OCR 或专门的视觉理解模型。
5.4 不同模态的向量是否可以混合存储?
需要根据 Embedding 模型的特征空间决定。
常见方案:
独立向量集合
不同模态使用不同向量集合。
优点:
- 维度可以不同。
- 模型可以独立升级。
- 检索策略更加灵活。
共享向量集合
只有在向量维度、距离度量和特征空间兼容时,才适合共享索引。
优点:
- 方便统一检索。
- 可以简化部分索引管理。
缺点:
- 不同模态的相似度分布可能不同。
- 模态之间可能存在召回偏差。
- 模型升级需要处理兼容性。
工程上更推荐逻辑分索引、统一检索接口的方式。
六、多模态检索策略
多模态 RAG 的检索不再局限于文本查询文本,而是需要支持不同模态之间的组合检索。
6.1 多模态检索矩阵
| 查询模态 | 目标模态 | 典型场景 |
|---|---|---|
| 文本 | 文本 | 查询技术文档 |
| 文本 | 图片 | 根据描述查找图片 |
| 图片 | 图片 | 查找相似图片 |
| 图片 | 文本 | 根据图片查找说明文档 |
| 文本 | 视频 | 搜索视频片段 |
| 视频帧 | 文本 | 根据画面查找描述 |
| 音频 | 文本 | 根据录音查找会议资料 |
| 文本 | 音频 | 根据内容查找录音片段 |
| 文本 | 表格 | 查询业务指标和报表 |
| 多模态 | 多模态 | 综合分析视频、语音和文档 |
实际系统不一定需要支持全部组合,应根据业务场景选择。
6.2 文本查询图片
例如:
用户:
找出展示服务器机房的图片。
检索过程:
- 对查询文本进行 Embedding。
- 使用跨模态向量索引搜索图片。
- 根据权限和元数据过滤。
- 返回候选图片。
- 使用视觉模型或重排序模型评估相关性。
- 返回图片及其来源信息。
6.3 图片查询文本
例如:
用户上传一张系统架构图:
这张图中的请求入口是什么?
可以采用两种方式:
直接视觉理解
将图片输入视觉语言模型,直接分析图片内容。
检索增强理解
先对图片进行向量化,检索相关架构文档,再将图片和检索到的文字资料共同交给模型。
第二种方式能够利用外部知识补充图片本身无法提供的信息。
6.4 文本查询视频
例如:
用户:
查找视频中介绍设备启动流程的片段。
视频检索可以结合:
- 视频关键帧。
- ASR 转录文本。
- 场景描述。
- 视频章节信息。
- 时间戳。
仅依赖视频帧可能无法找到语音中提到的关键内容,仅依赖 ASR 又可能遗漏画面中的操作步骤。
因此需要多路召回。
6.5 多路检索融合
多模态检索可以分别执行:
- 文本向量检索。
- 图像向量检索。
- 音频文本检索。
- 视频帧检索。
- 关键词检索。
- 结构化条件查询。
不同检索通道返回的分数通常不在同一尺度上。
不能直接将原始分数相加。
可以使用以下方式融合:
排名融合
使用 RRF 等方法,根据不同检索通道的排名进行融合。
归一化分数融合
先将不同检索通道的分数转换到可比较的范围,再进行加权融合。
学习排序
使用训练数据学习不同模态的相关性权重。
对于复杂业务,还可以根据查询意图动态调整不同检索通道的权重。
6.6 多模态检索执行流程
flowchart TD
A["用户提交查询"] --> B["查询模态识别"]
B --> C["查询语义分析"]
C --> D["选择检索通道"]
D --> E["文本检索"]
D --> F["图像检索"]
D --> G["音频检索"]
D --> H["视频检索"]
D --> I["结构化查询"]
E --> J["候选结果汇总"]
F --> J
G --> J
H --> J
I --> J
J --> K["权限与元数据过滤"]
K --> L["跨模态分数融合"]
L --> M["重排序"]
M --> N["返回多模态证据"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F
七、多模态重排序与证据选择
多模态检索通常会返回大量候选结果。
这些结果可能来自不同模态,也可能存在重复、关联和冲突。
因此需要进行二次相关性评估。
7.1 为什么需要多模态 Reranker?
例如,用户提出:
展示服务器部署拓扑,并解释各节点之间的连接关系。
检索结果可能包含:
- 一段描述部署架构的文字。
- 一张服务器拓扑图。
- 一份网络配置表。
- 一个介绍部署过程的视频。
- 一张不相关的服务器设备照片。
这些结果都可能包含相关关键词,但对当前问题的帮助程度不同。
Reranker 需要结合查询意图和证据内容判断相关性。
7.2 重排序的实现方式
文本重排序
将查询与文本片段输入 Cross-Encoder,评估语义相关性。
视觉重排序
将查询与图片一起输入视觉语言模型,判断图片是否真正满足查询条件。
跨模态重排序
使用支持文本、图片等多模态输入的模型统一评估候选内容。
规则重排序
根据来源可信度、时间、文档版本和业务优先级进行调整。
7.3 证据选择策略
建议将检索相关性与证据质量分开处理。
相关性判断:
- 是否与问题相关?
- 是否覆盖用户需要的信息?
- 是否包含关键实体?
- 是否包含必要的时间或空间信息?
证据质量判断:
- 来源是否可信?
- 是否属于当前有效版本?
- 是否有完整上下文?
- 是否可以定位原始内容?
- 是否存在冲突?
- 是否经过权限校验?
最终选出的证据应该具有足够的相关性和可信度。
八、多模态上下文组装
检索得到的内容不能直接无差别地拼接到模型输入中。
需要根据模型能力、上下文窗口和任务要求组织多模态输入。
8.1 上下文组成
一个多模态上下文可能包含:
System Instructions
系统规则与安全约束
User Query
用户原始问题
Text Evidence
相关文本片段
Image Evidence
图片内容及引用信息
Audio Evidence
音频转录与时间范围
Video Evidence
视频帧及时间戳
Structured Evidence
表格、JSON 和结构化记录
Source Metadata
来源、版本、页码、权限等信息
不同模型支持的输入结构可能不同,网关需要根据模型能力进行适配。
8.2 图片上下文
图片上下文可以有几种组织方式:
直接传入原始图片
适用于需要识别图像细节的任务。
传入图片描述
适用于语义搜索和一般性图片理解。
传入 OCR 结果
适用于图片中的文字、编号和表格内容。
传入图片区域
适用于只关注特定对象或区域的任务。
不同方式的信息保真度和 Token 成本不同。
如果图片中包含小字体、精确数字或复杂图表,单纯使用自动生成的图片描述可能丢失重要信息。
8.3 音频上下文
可以根据任务选择:
- 原始音频。
- ASR 转录文本。
- 带时间戳的语音片段。
- 说话人信息。
- 音频事件描述。
例如,会议问答通常可以优先使用转录文本和时间戳;如果用户询问语气、背景声音或特定音频事件,则可能需要原始音频。
8.4 视频上下文
视频通常不适合将全部原始帧直接传入模型。
可以先筛选:
- 关键帧。
- 相关场景。
- 对应语音片段。
- 时间范围。
- 视频摘要。
例如:
{
"video_id": "video_001",
"evidence": [
{
"start": 15.0,
"end": 28.0,
"keyframes": [
"frame_001",
"frame_002"
],
"transcript": "操作人员开始启动设备。"
}
]
}
模型能够根据这些信息理解相关片段,而不必处理整段视频。
8.5 上下文预算管理
多模态模型的上下文成本不仅来自文本 Token,还可能来自图像分辨率、图像切片、音频长度和视频帧数量。
因此需要为不同内容分配预算:
- 文本 Token 预算。
- 图片数量与分辨率预算。
- 音频时长预算。
- 视频帧数量预算。
- 总输入成本预算。
当上下文超出预算时,可以:
- 删除重复证据。
- 降低低相关内容优先级。
- 使用摘要替代部分原始内容。
- 减少视频帧数量。
- 优先保留高可信度证据。
- 对关键区域保留原始媒体。
不能简单地截断多模态内容,否则可能破坏图片、视频帧和时间戳之间的关联。
九、多模态 RAG 的生成机制
多模态模型负责综合用户问题与检索证据,生成最终回答。
9.1 模型输入与输出
输入可能包括:
- 文本问题。
- 相关文本片段。
- 图片。
- 音频。
- 视频帧。
- 表格。
- 结构化数据。
输出可能包括:
- 文本答案。
- 图片描述。
- 结构化 JSON。
- 时间戳引用。
- 证据列表。
- 多模态内容。
模型是否能够直接接收某种媒体、是否支持结构化输出,以及是否支持多种模态混合输入,都需要通过模型能力声明和实际测试确定。