返回专栏
· 23 分钟阅读

多模态 RAG 的架构设计


一、什么是多模态 RAG?

传统 RAG(Retrieval-Augmented Generation,检索增强生成)主要处理文本数据。

典型场景是:用户提出问题,系统从知识库中检索相关文本片段,将检索结果作为上下文交给大语言模型生成答案。

但在真实业务中,知识并不总是以纯文本形式存在。

例如:

  • 产品手册中包含大量结构图和设备照片。
  • 医疗资料包含文字、医学影像和检查报告。
  • 视频监控包含连续画面、语音和时间信息。
  • 企业知识库包含 PDF、Excel、PPT、图片和录音。
  • 工业设备资料包含图纸、仪表读数和操作视频。
  • 电商商品信息包含标题、描述、商品图片和演示视频。

如果只提取其中的文本,可能丢失大量关键知识。

多模态 RAG(Multimodal RAG)将不同模态的数据纳入统一的知识检索体系,使系统能够根据文本、图片、音频、视频等信息进行检索,并将相关证据提供给多模态大模型。

1.1 多模态 RAG 与传统 RAG 的区别

对比维度 传统 RAG 多模态 RAG
数据类型 主要是文本 文本、图像、音频、视频等
文档解析 文本提取与切分 多模态解析与内容理解
向量表示 文本 Embedding 单模态及跨模态 Embedding
检索方式 关键词、文本向量 文本、图像、音频及跨模态检索
结果内容 文本 Chunk 文本、图片、音频片段、视频帧等
上下文组装 文本上下文 多模态上下文
模型能力 文本生成模型 多模态理解与生成模型
主要难点 文本召回与相关性 模态对齐、时间关联、跨模态检索

多模态 RAG 并不是简单地在传统 RAG 中增加图片字段,而是需要重新设计数据解析、知识表示、索引组织、检索融合和模型输入机制。

1.2 多模态 RAG 的核心目标

主要解决五类问题:

  1. 多模态知识接入:能够解析不同格式的数据。
  2. 统一知识表示:建立文本、图像、音频、视频之间的关联。
  3. 跨模态检索:支持文本查图片、图片查文本、文本查视频等场景。
  4. 多模态上下文融合:将检索结果组织成模型能够理解的输入。
  5. 证据可追溯:能够定位知识来源、文档位置、视频时间戳和原始媒体内容。

二、多模态 RAG 的整体架构

多模态 RAG 可以划分为数据处理链路和在线检索生成链路。

数据处理链路负责将原始多模态数据转换为可检索的知识资产。

在线链路负责理解用户问题、检索多模态证据、组织上下文并调用模型生成结果。

2.1 系统整体架构

flowchart TB
    A["多模态数据源"] --> B["数据接入层"]
    B --> C["多模态解析层"]
    C --> D["内容标准化与知识抽取"]
    D --> E["多模态知识切分"]
    E --> F["特征提取与 Embedding"]
    E --> G["元数据与关联关系"]
    F --> H["向量索引"]
    G --> I["结构化索引"]
    D --> J["原始媒体存储"]
    H --> K["多模态检索服务"]
    I --> K
    J --> K

    L["用户查询"] --> M["查询理解与模态识别"]
    M --> K
    K --> N["跨模态召回与结果融合"]
    N --> O["重排序与证据筛选"]
    O --> P["多模态上下文组装"]
    P --> Q["多模态大模型"]
    Q --> R["答案与证据返回"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style O fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style P fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style Q fill:#EAF3EC,stroke:#83A995,color:#315D49
    style R fill:#DCEFE5,stroke:#4F8B70,color:#24563F

2.2 数据处理链路

数据处理链路属于离线或准实时处理。

主要工作:

  • 获取原始文件。
  • 识别数据类型。
  • 提取文本与媒体内容。
  • 生成多模态知识片段。
  • 提取模态特征。
  • 建立向量索引。
  • 保存元数据和媒体关联关系。

数据处理完成后,知识可以被在线检索服务使用。

2.3 在线检索链路

在线链路主要负责:

  • 识别用户查询意图。
  • 判断查询包含哪些模态。
  • 选择检索策略。
  • 执行多路召回。
  • 合并和排序结果。
  • 获取原始媒体证据。
  • 构造模型上下文。
  • 返回答案和引用。

在线链路需要重点控制检索延迟、上下文长度和媒体传输成本。


三、多模态数据接入与解析

多模态 RAG 的第一项基础工作,是将不同来源的数据转化为统一的知识处理对象。

3.1 多模态数据类型

模态 数据形式 主要处理任务
文本 TXT、Markdown、HTML 文本提取、清洗、切分
图片 JPG、PNG、WebP OCR、图像理解、区域检测
音频 WAV、MP3、AAC 语音识别、说话人识别、音频理解
视频 MP4、MOV、WebM 抽帧、镜头分割、语音提取
表格 CSV、Excel 表格结构解析、字段抽取
演示文稿 PPT、PPTX 页面解析、文字与图片提取
PDF PDF 文档 文本、版面、图片和表格解析
结构化数据 JSON、数据库记录 Schema 解析、实体与关系抽取

不同模态需要不同的解析技术,不能统一使用文本提取器处理。

3.2 文档解析

PDF、Word 和 PPT 等文档通常包含多种内容:

  • 标题。
  • 正文。
  • 表格。
  • 图片。
  • 图注。
  • 页眉页脚。
  • 页面布局。
  • 章节层级。

解析时需要保留内容之间的结构关系。

例如,一张架构图可能位于某个章节中,旁边还有解释文字。

如果只提取图片而丢失章节信息,后续检索就很难判断这张图片描述的是什么系统。

建议建立文档结构树:

{
  "document_id": "doc_1001",
  "title": "系统架构设计",
  "pages": [
    {
      "page_number": 1,
      "sections": [
        {
          "section_id": "sec_001",
          "title": "整体架构",
          "blocks": [
            {
              "block_id": "block_001",
              "type": "text",
              "content": "系统由接入层、服务层和数据层组成。"
            },
            {
              "block_id": "block_002",
              "type": "image",
              "asset_id": "asset_001"
            }
          ]
        }
      ]
    }
  ]
}

这样能够保留文本、图片与章节之间的关系。

3.3 图片解析

图片处理通常包含多个阶段:

  1. 图片格式识别。
  2. 分辨率和尺寸检查。
  3. OCR 文字识别。
  4. 图像内容理解。
  5. 目标与区域识别。
  6. 图像描述生成。
  7. 图片特征向量生成。
  8. 元数据保存。

不同技术承担不同任务。

OCR

负责识别图片中的文字,适用于:

  • 截图。
  • 扫描件。
  • 表格图片。
  • 票据。
  • 图纸中的文字标注。

视觉语言模型(VLM)

负责理解图片中的语义内容,例如:

  • 图片描述。
  • 场景识别。
  • 物体关系。
  • 图表解释。
  • 图片问答。

目标检测与区域识别

用于识别图片中的特定对象或区域。

例如,工业设备图片中需要定位仪表、按钮和异常部件。

图片解析结果可以包含:

{
  "asset_id": "image_001",
  "type": "image",
  "source_document": "doc_1001",
  "description": "展示一个由接入层、业务服务层和数据层组成的系统架构。",
  "ocr_text": [
    "API Gateway",
    "Business Service",
    "Database"
  ],
  "objects": [
    {
      "label": "API Gateway",
      "bbox": [0.1, 0.2, 0.3, 0.4]
    }
  ],
  "page_number": 3
}

其中 bbox 用于描述目标在图片中的位置,具体坐标格式需要在系统中统一约定。

3.4 音频解析

音频数据需要考虑语音内容、时间信息和说话人信息。

常见处理:

  • 语音活动检测(VAD)。
  • 自动语音识别(ASR)。
  • 说话人分离(Diarization)。
  • 时间戳提取。
  • 音频事件识别。
  • 情绪或语气分析(按业务需要)。

ASR 的结果不应该只保存为一段完整文本,还应该保留片段时间范围。

例如:

{
  "asset_id": "audio_001",
  "segments": [
    {
      "segment_id": "seg_001",
      "start": 0.0,
      "end": 3.5,
      "speaker": "speaker_1",
      "text": "今天介绍系统的整体架构。"
    },
    {
      "segment_id": "seg_002",
      "start": 3.6,
      "end": 8.2,
      "speaker": "speaker_1",
      "text": "系统主要包含三个核心模块。"
    }
  ]
}

时间戳能够支持后续定位原始音频和视频中的具体片段。

3.5 视频解析

视频是多模态 RAG 中复杂度较高的数据类型。

视频不仅包含图像,还包含:

  • 连续视频帧。
  • 音频轨道。
  • 字幕。
  • 时间信息。
  • 场景变化。
  • 镜头切换。
  • 动作与事件。

不能简单地将视频理解为一张图片,也不能只提取整段语音文本。

视频解析通常包括:

视频元信息提取

  • 时长。
  • 分辨率。
  • 帧率。
  • 编码格式。
  • 音轨信息。

镜头与场景分割

根据画面变化识别不同场景。

关键帧抽取

从视频中选择能够代表场景内容的帧。

音频处理

提取语音、说话人和音频事件。

时间轴对齐

将视频帧、语音片段和字幕关联到统一时间轴。

视频数据可以形成如下结构:

{
  "asset_id": "video_001",
  "duration": 120.0,
  "scenes": [
    {
      "scene_id": "scene_001",
      "start": 0.0,
      "end": 35.0,
      "keyframes": [
        {
          "timestamp": 5.2,
          "asset_id": "frame_001"
        },
        {
          "timestamp": 18.5,
          "asset_id": "frame_002"
        }
      ],
      "transcript": [
        {
          "start": 2.0,
          "end": 8.0,
          "text": "首先介绍设备的安装步骤。"
        }
      ]
    }
  ]
}

视频中的关键帧和语音片段必须保留原始视频标识与时间戳,否则检索结果无法准确定位原始内容。


四、多模态知识表示与数据模型

多模态 RAG 的核心难点之一,是如何将不同模态的数据组织成可检索、可关联、可追溯的知识对象。

不能简单地把所有数据转换成文本后就认为完成了多模态知识建模。

4.1 统一知识对象

可以将知识统一抽象为 Asset、Block、Chunk、Embedding 和 Relation 等对象。

对象 职责
Asset 原始文件或媒体资源
Block 文档中的内容单元
Chunk 可检索的知识片段
Embedding 模态特征向量
Relation 不同知识对象之间的关系
Metadata 来源、时间、权限等属性

例如:

Document
  ├── Section
  │    ├── Text Block
  │    ├── Image Block
  │    └── Table Block
  └── Video Asset
       ├── Scene
       │    ├── Keyframe
       │    └── Transcript Segment
       └── Audio Segment

这个结构能够保留内容的层级关系和跨模态关联。

4.2 多模态 Chunk

传统文本 Chunk 主要包含一段文字。

多模态 Chunk 则可以包含不同类型的内容。

例如:

{
  "chunk_id": "chunk_001",
  "document_id": "doc_1001",
  "content_type": "multimodal",
  "text": "系统整体架构包含接入层、业务层和数据层。",
  "assets": [
    {
      "asset_id": "image_001",
      "type": "image"
    }
  ],
  "metadata": {
    "page": 3,
    "section": "整体架构",
    "tenant_id": "tenant_001"
  }
}

需要注意,Chunk 的逻辑内容与实际媒体文件应该分开存储。

Chunk 保存关联关系,原始图片、音频和视频则保存到对象存储或媒体存储系统中。

4.3 多模态关联关系

不同模态之间存在大量关联。

例如:

  • 文本描述对应一张图片。
  • 图片属于某个 PDF 页面。
  • 视频帧属于某个视频场景。
  • 语音片段对应视频中的一段时间。
  • 表格属于某个文档章节。
  • 图片中的区域对应 OCR 识别结果。

可以将这些关系建模为图结构:

flowchart TD
    A["Document"] --> B["Section"]
    B --> C["Text Chunk"]
    B --> D["Image Asset"]
    B --> E["Table Asset"]
    D --> F["Image Embedding"]
    D --> G["OCR Result"]
    D --> H["Image Caption"]
    I["Video Asset"] --> J["Scene"]
    J --> K["Keyframe"]
    J --> L["Transcript Segment"]
    K --> M["Frame Embedding"]
    L --> N["Text Embedding"]
    G --> O["Cross-modal Relation"]
    H --> O
    C --> O

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style L fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style M fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style O fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

关系建模可以通过关系型数据库、文档数据库或图数据库实现,不一定必须引入独立图数据库。

4.4 多模态元数据

多模态数据需要比普通文本更丰富的元数据。

图片可能需要:

  • 宽度和高度。
  • 图片格式。
  • OCR 内容。
  • 图像描述。
  • 图片来源。
  • 页面位置。

音频可能需要:

  • 采样率。
  • 声道数。
  • 时长。
  • 语言。
  • 说话人。
  • 时间片段。

视频可能需要:

  • 视频时长。
  • 帧率。
  • 场景范围。
  • 关键帧时间戳。
  • 音轨关联。
  • 字幕片段。

统一元数据模型可以使用公共字段加模态专属扩展字段,避免将所有字段强行设计成同一套简单结构。


五、多模态 Embedding 与特征空间

多模态检索的基础是将不同模态转换为可计算的特征表示。

传统文本 RAG 使用文本 Embedding。

多模态 RAG 则可能使用:

  • 文本 Embedding。
  • 图像 Embedding。
  • 音频 Embedding。
  • 视频帧 Embedding。
  • 跨模态联合 Embedding。

5.1 单模态 Embedding

每一种模态可以使用专门的模型提取特征。

例如:

E_t=f_t(Text)
E_i=f_i(Image)
E_a=f_a(Audio)
E_v=f_v(Video)

其中:

  • f_t:文本编码器。
  • f_i:图像编码器。
  • f_a:音频编码器。
  • f_v:视频编码器。

不同编码器可能产生不同维度的向量,也可能处于完全不同的特征空间。

因此,不能默认所有模态的向量都可以直接进行余弦相似度比较。

5.2 跨模态联合 Embedding

部分多模态模型通过联合训练,使不同模态的特征映射到共享语义空间。

例如:

E_t=f_t(Text)
E_i=f_i(Image)

如果模型经过跨模态对比学习,文本与图片的向量可以在共享空间中进行相似度计算。

例如:

文本:
一辆红色汽车停在路边。

图片:
一张包含红色汽车和道路的照片。

系统可以通过跨模态向量相似度找到对应图片。

5.3 对比学习机制

跨模态表示学习常使用对比学习。

核心思想:

  • 匹配的文本和图片作为正样本。
  • 不匹配的文本和图片作为负样本。
  • 提高正样本相似度。
  • 降低负样本相似度。

一种常见的对比损失形式:

L=-\log \frac{ \exp(sim(z_t,z_i)/\tau) }{ \sum_j\exp(sim(z_t,z_j)/\tau) }

其中:

  • z_t:文本向量。
  • z_i:匹配的图像向量。
  • sim:相似度函数。
  • \tau:温度参数。

这类训练方式能够让不同模态中语义相近的内容靠近。

需要注意,共享特征空间不意味着所有细节都能被完整保留。例如,图片中的小字、精确数字和细粒度空间关系,可能仍然需要 OCR 或专门的视觉理解模型。

5.4 不同模态的向量是否可以混合存储?

需要根据 Embedding 模型的特征空间决定。

常见方案:

独立向量集合

不同模态使用不同向量集合。

优点:

  • 维度可以不同。
  • 模型可以独立升级。
  • 检索策略更加灵活。

共享向量集合

只有在向量维度、距离度量和特征空间兼容时,才适合共享索引。

优点:

  • 方便统一检索。
  • 可以简化部分索引管理。

缺点:

  • 不同模态的相似度分布可能不同。
  • 模态之间可能存在召回偏差。
  • 模型升级需要处理兼容性。

工程上更推荐逻辑分索引、统一检索接口的方式。


六、多模态检索策略

多模态 RAG 的检索不再局限于文本查询文本,而是需要支持不同模态之间的组合检索。

6.1 多模态检索矩阵

查询模态 目标模态 典型场景
文本 文本 查询技术文档
文本 图片 根据描述查找图片
图片 图片 查找相似图片
图片 文本 根据图片查找说明文档
文本 视频 搜索视频片段
视频帧 文本 根据画面查找描述
音频 文本 根据录音查找会议资料
文本 音频 根据内容查找录音片段
文本 表格 查询业务指标和报表
多模态 多模态 综合分析视频、语音和文档

实际系统不一定需要支持全部组合,应根据业务场景选择。

6.2 文本查询图片

例如:

用户:
找出展示服务器机房的图片。

检索过程:

  1. 对查询文本进行 Embedding。
  2. 使用跨模态向量索引搜索图片。
  3. 根据权限和元数据过滤。
  4. 返回候选图片。
  5. 使用视觉模型或重排序模型评估相关性。
  6. 返回图片及其来源信息。

6.3 图片查询文本

例如:

用户上传一张系统架构图:
这张图中的请求入口是什么?

可以采用两种方式:

直接视觉理解

将图片输入视觉语言模型,直接分析图片内容。

检索增强理解

先对图片进行向量化,检索相关架构文档,再将图片和检索到的文字资料共同交给模型。

第二种方式能够利用外部知识补充图片本身无法提供的信息。

6.4 文本查询视频

例如:

用户:
查找视频中介绍设备启动流程的片段。

视频检索可以结合:

  • 视频关键帧。
  • ASR 转录文本。
  • 场景描述。
  • 视频章节信息。
  • 时间戳。

仅依赖视频帧可能无法找到语音中提到的关键内容,仅依赖 ASR 又可能遗漏画面中的操作步骤。

因此需要多路召回。

6.5 多路检索融合

多模态检索可以分别执行:

  • 文本向量检索。
  • 图像向量检索。
  • 音频文本检索。
  • 视频帧检索。
  • 关键词检索。
  • 结构化条件查询。

不同检索通道返回的分数通常不在同一尺度上。

不能直接将原始分数相加。

可以使用以下方式融合:

排名融合

使用 RRF 等方法,根据不同检索通道的排名进行融合。

RRF(d)= \sum_{i=1}^{n} \frac{1}{k+rank_i(d)}

归一化分数融合

先将不同检索通道的分数转换到可比较的范围,再进行加权融合。

学习排序

使用训练数据学习不同模态的相关性权重。

对于复杂业务,还可以根据查询意图动态调整不同检索通道的权重。

6.6 多模态检索执行流程

flowchart TD
    A["用户提交查询"] --> B["查询模态识别"]
    B --> C["查询语义分析"]
    C --> D["选择检索通道"]
    D --> E["文本检索"]
    D --> F["图像检索"]
    D --> G["音频检索"]
    D --> H["视频检索"]
    D --> I["结构化查询"]
    E --> J["候选结果汇总"]
    F --> J
    G --> J
    H --> J
    I --> J
    J --> K["权限与元数据过滤"]
    K --> L["跨模态分数融合"]
    L --> M["重排序"]
    M --> N["返回多模态证据"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F

七、多模态重排序与证据选择

多模态检索通常会返回大量候选结果。

这些结果可能来自不同模态,也可能存在重复、关联和冲突。

因此需要进行二次相关性评估。

7.1 为什么需要多模态 Reranker?

例如,用户提出:

展示服务器部署拓扑,并解释各节点之间的连接关系。

检索结果可能包含:

  • 一段描述部署架构的文字。
  • 一张服务器拓扑图。
  • 一份网络配置表。
  • 一个介绍部署过程的视频。
  • 一张不相关的服务器设备照片。

这些结果都可能包含相关关键词,但对当前问题的帮助程度不同。

Reranker 需要结合查询意图和证据内容判断相关性。

7.2 重排序的实现方式

文本重排序

将查询与文本片段输入 Cross-Encoder,评估语义相关性。

视觉重排序

将查询与图片一起输入视觉语言模型,判断图片是否真正满足查询条件。

跨模态重排序

使用支持文本、图片等多模态输入的模型统一评估候选内容。

规则重排序

根据来源可信度、时间、文档版本和业务优先级进行调整。

7.3 证据选择策略

建议将检索相关性与证据质量分开处理。

相关性判断:

  • 是否与问题相关?
  • 是否覆盖用户需要的信息?
  • 是否包含关键实体?
  • 是否包含必要的时间或空间信息?

证据质量判断:

  • 来源是否可信?
  • 是否属于当前有效版本?
  • 是否有完整上下文?
  • 是否可以定位原始内容?
  • 是否存在冲突?
  • 是否经过权限校验?

最终选出的证据应该具有足够的相关性和可信度。


八、多模态上下文组装

检索得到的内容不能直接无差别地拼接到模型输入中。

需要根据模型能力、上下文窗口和任务要求组织多模态输入。

8.1 上下文组成

一个多模态上下文可能包含:

System Instructions
    系统规则与安全约束

User Query
    用户原始问题

Text Evidence
    相关文本片段

Image Evidence
    图片内容及引用信息

Audio Evidence
    音频转录与时间范围

Video Evidence
    视频帧及时间戳

Structured Evidence
    表格、JSON 和结构化记录

Source Metadata
    来源、版本、页码、权限等信息

不同模型支持的输入结构可能不同,网关需要根据模型能力进行适配。

8.2 图片上下文

图片上下文可以有几种组织方式:

直接传入原始图片

适用于需要识别图像细节的任务。

传入图片描述

适用于语义搜索和一般性图片理解。

传入 OCR 结果

适用于图片中的文字、编号和表格内容。

传入图片区域

适用于只关注特定对象或区域的任务。

不同方式的信息保真度和 Token 成本不同。

如果图片中包含小字体、精确数字或复杂图表,单纯使用自动生成的图片描述可能丢失重要信息。

8.3 音频上下文

可以根据任务选择:

  • 原始音频。
  • ASR 转录文本。
  • 带时间戳的语音片段。
  • 说话人信息。
  • 音频事件描述。

例如,会议问答通常可以优先使用转录文本和时间戳;如果用户询问语气、背景声音或特定音频事件,则可能需要原始音频。

8.4 视频上下文

视频通常不适合将全部原始帧直接传入模型。

可以先筛选:

  • 关键帧。
  • 相关场景。
  • 对应语音片段。
  • 时间范围。
  • 视频摘要。

例如:

{
  "video_id": "video_001",
  "evidence": [
    {
      "start": 15.0,
      "end": 28.0,
      "keyframes": [
        "frame_001",
        "frame_002"
      ],
      "transcript": "操作人员开始启动设备。"
    }
  ]
}

模型能够根据这些信息理解相关片段,而不必处理整段视频。

8.5 上下文预算管理

多模态模型的上下文成本不仅来自文本 Token,还可能来自图像分辨率、图像切片、音频长度和视频帧数量。

因此需要为不同内容分配预算:

  • 文本 Token 预算。
  • 图片数量与分辨率预算。
  • 音频时长预算。
  • 视频帧数量预算。
  • 总输入成本预算。

当上下文超出预算时,可以:

  1. 删除重复证据。
  2. 降低低相关内容优先级。
  3. 使用摘要替代部分原始内容。
  4. 减少视频帧数量。
  5. 优先保留高可信度证据。
  6. 对关键区域保留原始媒体。

不能简单地截断多模态内容,否则可能破坏图片、视频帧和时间戳之间的关联。


九、多模态 RAG 的生成机制

多模态模型负责综合用户问题与检索证据,生成最终回答。

9.1 模型输入与输出

输入可能包括:

  • 文本问题。
  • 相关文本片段。
  • 图片。
  • 音频。
  • 视频帧。
  • 表格。
  • 结构化数据。

输出可能包括:

  • 文本答案。
  • 图片描述。
  • 结构化 JSON。
  • 时间戳引用。
  • 证据列表。
  • 多模态内容。

模型是否能够直接接收某种媒体、是否支持结构化输出,以及是否支持多种模态混合输入,都需要通过模型能力声明和实际测试确定。

9.2 证据约束生成