返回专栏
· 21 分钟阅读

GPT、Claude、Gemini、DeepSeek 与 Qwen 技术体系对比:五大主流大模型的架构、训练与生态


一、五大模型体系概览

当前大模型领域已经形成多个具有代表性的技术体系。

它们不仅在模型能力上竞争,也在模型架构、训练方法、推理优化、多模态技术、工具调用和部署生态等方面持续演进。

五个代表性模型体系:

模型体系 研发机构 核心定位 主要技术方向
GPT OpenAI 通用基础模型与智能体平台 推理、代码、多模态、工具调用
Claude Anthropic 通用模型与复杂任务执行 深度推理、代码、长周期 Agent、安全对齐
Gemini Google DeepMind 原生多模态模型体系 多模态理解、推理、长上下文、Agent
DeepSeek 深度求索 高效率模型与推理技术 MoE、MLA、强化学习、推理优化
Qwen 阿里巴巴通义千问团队 开放模型与全栈多模态生态 开放权重、MoE、视觉语言、音频、Agent

首先需要明确一个概念:

GPT、Claude、Gemini、DeepSeek 和 Qwen 并不是五个单独的模型,而是五个模型家族或技术体系。

每个体系都包含不同规模、不同任务定位和不同部署方式的模型。

例如:

  • GPT 包含不同推理等级、速度和成本定位的模型。
  • Claude 包含 Opus、Sonnet、Haiku 等不同系列。
  • Gemini 包含 Pro、Flash 等不同定位的模型。
  • DeepSeek 包含通用、推理和不同规模的模型。
  • Qwen 包含语言、视觉、音频、代码和多模态模型。

因此,比较技术体系时,不能仅凭某个版本的排行榜结果判断整个模型家族。

二、GPT:以通用能力和工具生态为核心的模型体系

2.1 GPT 的基本定位

GPT 是 OpenAI 的大语言模型系列名称,其技术路线以通用语言建模为基础,逐步扩展到复杂推理、多模态理解、代码生成和智能体任务。

GPT 通常被理解为 Generative Pre-trained Transformer:

  • Generative:生成式。
  • Pre-trained:预训练。
  • Transformer:基于 Transformer 架构体系发展而来的模型技术路线。

需要注意,GPT 系列具体模型的完整内部架构并未全部公开。不能因为名称中包含 Transformer,就推断所有模型都采用完全相同的网络结构或训练配置。

GPT 的技术体系可以从几个方面理解。

2.2 核心技术方向

1. 自回归语言建模

GPT 的基础能力来自语言模型训练。

对于输入序列:

X=(x_1,x_2,\ldots,x_T)

自回归语言模型通过条件概率分解联合概率:

P(X)=\prod_{t=1}^{T}P(x_t|x_{<t})

模型根据前面的 Token 预测下一个 Token,通过大规模训练学习语言规律、知识关联和上下文表示。

这构成了 GPT 文本生成能力的基础。

2. 推理能力

GPT 系列逐渐强化复杂任务处理能力,包括:

  • 数学推理。
  • 代码分析与生成。
  • 多步骤问题求解。
  • 科学和专业知识分析。
  • 多约束任务规划。
  • 工具调用和结果验证。

推理模型通常会在生成最终答案前投入额外计算资源,执行更复杂的内部处理。

需要区分两个概念:

  • 模型规模:模型包含多少参数。
  • 推理计算量:模型在处理一次请求时投入多少计算资源。

推理能力不完全由参数规模决定,也受到训练方法、推理策略和计算预算影响。

3. 多模态能力

GPT 技术体系已经不再局限于文本生成,还涉及:

  • 图像理解。
  • 语音输入与输出。
  • 实时语音交互。
  • 图像生成与编辑。
  • 视频相关理解与处理。
  • 视觉信息与工具操作结合。

多模态模型的目标是让模型处理不同类型的信息,而不只是把图像或音频转换成文本后再交给语言模型。

不过,不同 GPT 模型的输入输出模态和能力并不完全相同,需要以具体模型的能力说明为准。

4. 工具调用与智能体

GPT 的重要技术方向之一是将语言模型与外部工具结合。

模型可以根据任务需要调用:

  • Web Search。
  • Function Calling。
  • Code Interpreter。
  • 文件检索。
  • 数据分析工具。
  • 外部业务 API。
  • 计算机操作工具。

模型不再只是生成一段文本,而是可以参与一个包含规划、执行和验证的任务流程。

2.3 GPT 的智能体执行机制

flowchart TB
    A["接收用户任务"] --> B["理解目标与约束"]
    B --> C["分析任务复杂度"]
    C --> D["制定执行计划"]
    D --> E["选择工具或直接回答"]
    E --> F{"是否需要外部工具"}
    F -->|"是"| G["调用工具"]
    G --> H["接收工具结果"]
    H --> I["分析执行结果"]
    I --> J{"任务是否完成"}
    J -->|"否"| D
    J -->|"是"| K["组织最终结果"]
    F -->|"否"| K
    K --> L["返回用户"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#E5F0E9,stroke:#83A995,color:#315D49

这类架构的关键不是简单增加工具数量,而是建立模型与外部执行环境之间的可靠交互机制。

需要处理的问题包括:

  • 工具选择是否正确。
  • 参数是否符合接口定义。
  • 工具调用失败后如何恢复。
  • 多次调用之间如何维护状态。
  • 如何验证工具返回的数据。
  • 如何防止模型执行未经授权的操作。

2.4 GPT 的技术生态

GPT 的优势不仅来自模型本身,还来自其周边开发平台。

主要包括:

  • ChatGPT:面向用户的 AI 产品。
  • OpenAI API:模型调用与应用开发接口。
  • Responses API:支持模型响应、工具调用和多步骤交互。
  • Agents SDK:智能体开发工具。
  • Codex:面向软件开发任务的智能体产品。
  • GPT 系列模型:通用推理、文本、代码和多模态模型。

OpenAI 官方模型文档已经将模型、工具调用、推理、文件处理和智能体开发整合到统一的 API 体系中。

截至 2026 年 11 月,官方模型目录已包含 GPT-6.2 Astra、GPT-6.2 Sol 等不同定位的模型。具体能力、接口和使用限制应以对应模型文档为准。

三、Claude:以复杂任务、代码工程与安全对齐为核心

3.1 Claude 的基本定位

Claude 是 Anthropic 开发的大语言模型系列。

Claude 的技术路线强调:

  • 复杂推理。
  • 长文本理解。
  • 软件工程任务。
  • 多步骤任务执行。
  • 模型行为对齐。
  • 安全性和可控性。

与 GPT 类似,Claude 的完整内部模型架构并未全部公开。因此,对 Claude 的技术分析应重点关注其公开的训练理念、能力设计和产品接口,而不是猜测未公开的网络结构。

3.2 Constitutional AI:宪法式 AI

Claude 的一个重要技术特色是 Constitutional AI。

传统的模型对齐方法通常依赖人工反馈,让模型学习人类偏好的回答方式。

Constitutional AI 则引入一组明确的原则,用于指导模型评价和改进自己的回答。

核心思路是:

  1. 制定一套行为原则。
  2. 让模型根据原则检查自己的回答。
  3. 根据原则生成批评和修订结果。
  4. 利用这些结果训练模型。
  5. 通过后续强化学习进一步改善模型行为。

其基本过程可以抽象为:

flowchart TB
    A["输入训练问题"] --> B["模型生成初始回答"]
    B --> C["根据行为原则进行评价"]
    C --> D["识别回答中的问题"]
    D --> E["生成修订后的回答"]
    E --> F["构造训练反馈"]
    F --> G["执行模型训练"]
    G --> H["改善模型行为"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这里的行为原则可以涉及:

  • 有帮助。
  • 诚实。
  • 无害。
  • 尊重用户。
  • 避免协助违法或有害行为。
  • 在不确定时适当表达限制。

Constitutional AI 并不意味着模型能够自动保证安全,也不意味着所有回答都严格符合原则。它是一种用于改善模型行为的训练和对齐方法。

Anthropic 公开了 Constitutional AI 的研究方法,也持续发布 Claude 的行为原则和相关说明。

3.3 Claude 的模型分层

Claude 采用不同定位的模型系列,以适应不同的性能和成本需求。

传统命名体系主要包括:

系列 设计定位 典型任务
Opus 高能力模型 复杂推理、代码工程、长周期任务
Sonnet 能力与速度平衡 日常开发、分析、知识工作
Haiku 高效率模型 分类、提取、快速响应

截至 2026 年 11 月,官方模型目录还包含 Fable 等新系列,不能将早期的三层命名体系视为永远固定的产品结构。

3.4 Claude 的代码工程能力

Claude 的重要应用方向之一是复杂软件工程。

典型任务包括:

  • 阅读大型代码库。
  • 理解模块之间的依赖。
  • 定位复杂 Bug。
  • 设计重构方案。
  • 修改多个文件。
  • 编写测试。
  • 分析测试失败原因。
  • 迭代修复问题。

与简单代码生成不同,复杂软件工程任务需要模型理解较长的上下文,并在多个步骤之间保持一致的任务目标。

例如:

flowchart TB
    A["接收软件开发需求"] --> B["理解代码库结构"]
    B --> C["定位相关模块"]
    C --> D["分析依赖关系"]
    D --> E["制定修改方案"]
    E --> F["修改代码"]
    F --> G["执行测试"]
    G --> H{"测试是否通过"}
    H -->|"否"| I["分析错误并修复"]
    I --> G
    H -->|"是"| J["检查代码质量"]
    J --> K["提交修改结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49

这类任务对模型提出了更高要求:

  • 长上下文信息检索。
  • 代码语义理解。
  • 跨文件依赖分析。
  • 多步骤规划。
  • 工具调用。
  • 执行结果验证。

3.5 Claude 的技术生态

Claude 的主要生态包括:

  • Claude:面向用户的 AI 助手。
  • Claude API:模型开发接口。
  • Claude Code:面向软件开发的智能体工具。
  • Claude Platform:模型开发与管理平台。
  • MCP:Model Context Protocol,用于连接模型与外部工具、数据源和服务。

需要特别注意,MCP 并不是 Claude 独有的模型架构,而是一种可以被不同模型和应用采用的开放协议。

它解决的是模型应用如何以相对标准化的方式连接外部资源的问题。

四、Gemini:以原生多模态和 Google 全栈生态为核心

4.1 Gemini 的基本定位

Gemini 是 Google DeepMind 开发的大模型系列。

其重要技术方向是原生多模态。

传统多模态系统经常采用多个独立模型分别处理文本、图像和音频,再通过接口组合成一个整体系统。

Gemini 的技术方向则强调在模型训练和设计阶段就考虑多种模态,使模型能够处理不同类型的信息,并在统一的模型体系中进行理解和推理。

Google 在 Gemini 最初发布时就强调了原生多模态训练路线。

4.2 什么是原生多模态?

多模态模型需要处理不同类型的数据。

常见模态包括:

  • 文本。
  • 图像。
  • 音频。
  • 视频。
  • 结构化数据。

不同模态的数据表示方式并不相同。

例如:

模态 原始数据形式 主要处理任务
文本 Token 序列 语言理解与生成
图像 像素或视觉特征 目标识别、场景理解
音频 波形或音频特征 语音识别、语义理解
视频 连续图像帧及时间信息 时序理解、事件分析

多模态模型需要将这些不同的数据表示映射到可以进行联合建模的表示空间。

可以抽象为:

X_m=E_m(I_m)

其中:

  • I_m:某一种模态的原始输入。
  • E_m:对应的模态编码器或处理模块。
  • X_m:转换后的表示。

不同模态的表示可以在模型中进行交互:

H=F(X_{text},X_{image},X_{audio},X_{video})

其中 F 表示多模态模型的联合处理过程。

这只是多模态建模的抽象表达,并不代表 Gemini 所有版本都采用完全相同的编码器或融合结构。

4.3 多模态联合理解

假设用户输入一段视频,并提出问题:

“这段视频中,人物在什么时间开始离开房间?”

模型需要处理:

  1. 视频帧中的人物和场景信息。
  2. 视频中的时间顺序。
  3. 人物在不同时间点的位置变化。
  4. 用户提出的自然语言问题。
  5. 视频内容与问题之间的语义关系。
flowchart TB
    A["接收多模态输入"] --> B["文本信息处理"]
    A --> C["图像与视频处理"]
    A --> D["音频信息处理"]
    B --> E["多模态表示"]
    C --> E
    D --> E
    E --> F["跨模态信息交互"]
    F --> G["联合语义理解"]
    G --> H["多步骤推理"]
    H --> I["生成结构化或自然语言结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

原生多模态的价值不仅是能够识别图像或转录音频,更重要的是能够利用不同模态之间的关联信息完成复杂任务。

4.4 Gemini 的长上下文能力

长上下文是 Gemini 技术体系的重要方向之一。

上下文窗口决定模型一次请求能够处理的输入 Token 数量上限。

长上下文可以用于:

  • 分析大型代码库。
  • 阅读长篇技术文档。
  • 处理大量会议记录。
  • 分析长视频。
  • 跨文档信息关联。
  • 复杂任务规划。

但需要区分:

上下文窗口大,不代表模型能够同等准确地利用上下文中的所有信息。

长上下文还面临:

  • 注意力计算成本。
  • 关键信息定位。
  • 信息干扰。
  • 长距离依赖。
  • 上下文中的矛盾信息。
  • 推理时延与显存压力。

因此,长上下文能力不仅取决于窗口长度,还取决于模型的信息检索、压缩和推理能力。

4.5 Gemini 的 Google 技术生态

Gemini 的技术优势还来自 Google 的基础设施与产品生态。

主要包括:

  • Gemini:面向用户的 AI 产品和模型体系。
  • Gemini API:模型开发接口。
  • Google AI Studio:模型实验与应用开发工具。
  • Vertex AI / Gemini Enterprise Agent Platform:企业级模型平台。
  • Google Search:搜索与信息检索生态。
  • Android:移动设备与系统级应用生态。
  • Google Cloud:云计算与企业部署基础设施。
  • Gemma:Google 发布的开放模型系列。

需要注意,Gemini 与 Gemma 不是同一种模型开放策略。

Gemini 主要作为 Google 的模型服务体系提供,而 Gemma 是单独发布的开放模型系列。

截至 2026 年 11 月,Google 的模型目录已经覆盖 Gemini 4、Gemini 3.1 Pro、Flash 等不同定位的模型,并扩展到音频、视频和 Agent 相关能力。

五、DeepSeek:以 MoE、推理训练与高效率为核心

5.1 DeepSeek 的基本定位

DeepSeek 是深度求索开发的大模型系列。

其技术体系的重要特点是:

  • 大规模 MoE 架构。
  • 高效 Attention 设计。
  • 强化学习与推理训练。
  • 训练和推理效率优化。
  • 开放模型与技术报告。

与 GPT、Claude 等以托管模型服务为主要使用入口的体系相比,DeepSeek 公开发布了多个模型的权重、技术报告和模型卡,为研究人员提供了更多分析和部署材料。

但不同版本的开放程度、许可证和可用能力仍然需要分别检查。

5.2 DeepSeek 的 MoE 架构

MoE(Mixture of Experts,混合专家模型)是 DeepSeek 技术体系中非常重要的架构方向。

传统 Dense Transformer 中,模型的主要 FFN 子层通常会对每个 Token 执行相应计算。

MoE 则将 FFN 部分划分为多个专家网络,通过 Router 为不同 Token 选择部分专家。

基本结构:

  • Router:负责选择专家。
  • Experts:负责执行不同的计算。
  • Gating:负责计算专家权重。
  • Top-K:选择参与当前 Token 计算的专家。

其输出可以表示为:

y=\sum_{i\in TopK(x)}g_i(x)E_i(x)

其中:

  • x:输入 Token 表示。
  • E_i(x):第 i 个专家的计算结果。
  • g_i(x):对应专家的路由权重。

MoE 的核心价值是:

模型可以拥有大量总参数,但每个 Token 只激活其中一部分专家参数。

因此,模型总参数量与单 Token 激活参数量并不相同。

5.3 DeepSeek-V3 的技术特点

DeepSeek-V3 是研究 DeepSeek 技术路线的重要代表。

其公开技术报告披露了以下设计:

技术 作用
DeepSeekMoE 稀疏专家网络
MLA Multi-head Latent Attention,降低 KV 表示和缓存开销
Auxiliary-Loss-Free Load Balancing 改善专家负载均衡
Multi-Token Prediction 引入多 Token 预测辅助训练目标
FP8 Training 提高训练计算效率
DualPipe 优化流水线并行与计算通信重叠

DeepSeek-V3 技术报告披露的配置为:

  • 总参数量:671B。
  • 每个 Token 激活参数量:约 37B。
  • 预训练数据规模:14.8T Tokens。
  • 使用 DeepSeekMoE 和 MLA 架构。

这些数字对应 DeepSeek-V3 的特定版本,不应直接套用到 DeepSeek 后续所有模型。

5.4 MLA:Multi-head Latent Attention

MLA 是 DeepSeek 提出的重要 Attention 优化技术。

传统 Multi-Head Attention 在推理过程中需要保存历史 Key 和 Value,以支持后续 Token 的注意力计算。

对于长上下文模型,KV Cache 可能占据大量显存。

MLA 的核心思路是通过低维潜在表示压缩 Key、Value 相关信息,减少推理时需要缓存的数据量。

可以将其抽象为:

c_t^{KV}=W^{DKV}h_t

其中:

  • h_t:当前 Token 的隐藏状态。
  • W^{DKV}:低维映射矩阵。
  • c_t^{KV}:压缩后的潜在 KV 表示。

在后续注意力计算中,再通过对应投影恢复所需的 Key、Value 表示。

需要注意,MLA 并不是简单地把传统 K、V 张量做普通压缩,而是对注意力表示和计算方式进行结构性设计。

其主要目标包括:

  • 减少 KV Cache 存储。
  • 降低推理时的内存访问压力。
  • 改善长上下文推理效率。
  • 降低大规模模型部署成本。

5.5 DeepSeek-R1 与强化学习推理训练

DeepSeek-R1 是理解 DeepSeek 推理路线的重要代表。

它强调通过强化学习改善模型的复杂推理能力。

强化学习训练可以抽象为:

  1. 模型接收问题。
  2. 模型生成候选回答或推理过程。
  3. 奖励模型或规则评价结果。
  4. 根据奖励信号优化模型策略。
  5. 经过多轮训练改善任务表现。

强化学习目标可以表示为:

\max_{\theta} \mathbb{E}_{y\sim\pi_\theta(\cdot|x)} [R(x,y)]

其中:

  • \pi_\theta:参数为 \theta 的策略模型。
  • x:输入问题。
  • y:模型生成的结果。
  • R(x,y):奖励函数。

在推理任务中,奖励可以来自:

  • 数学答案是否正确。
  • 代码是否通过测试。
  • 逻辑约束是否满足。
  • 格式是否符合要求。
  • 结果是否满足特定规则。

DeepSeek-R1 的研究路线展示了强化学习在数学、代码和复杂推理任务中的应用价值。

但需要注意,强化学习并不是简单地让模型“思考更久”。训练效果取决于奖励设计、采样策略、训练稳定性和数据分布。

5.6 DeepSeek 的技术生态

主要包括:

  • DeepSeek Chat:面向用户的产品。
  • DeepSeek API:模型调用接口。
  • DeepSeek-V 系列:通用语言模型。
  • DeepSeek-R 系列:推理模型路线。
  • DeepSeek 技术报告:公开架构和训练研究。
  • 开放权重与模型社区:支持本地部署、研究和二次开发。

DeepSeek 官方透明度中心持续发布模型卡、技术报告和模型相关信息。

六、Qwen:以开放权重与全栈模型生态为核心

6.1 Qwen 的基本定位

Qwen(通义千问)是阿里巴巴通义千问团队开发的大语言模型和多模态模型系列。

Qwen 的技术体系有两个明显特点:

  1. 模型覆盖范围广。
  2. 开放权重模型生态较为丰富。

其模型方向不仅包括通用语言模型,还涉及:

  • 数学与推理。
  • 代码生成。
  • 视觉语言模型。
  • 音频模型。
  • 多模态模型。
  • Embedding。
  • Reranker。
  • Agent 与工具调用。

Qwen 同时存在开放权重模型和通过云平台提供的专有模型服务,两者不能混为一谈。

6.2 Qwen 的模型体系

Qwen 不只是一个文本模型,而是逐渐形成多个模型分支。

模型方向 主要任务
Qwen 通用语言模型 对话、文本理解与生成
Qwen Reasoning 数学、逻辑和复杂推理
Qwen Coder 代码生成与程序分析
Qwen-VL 图像理解与视觉语言任务
Qwen-Omni 多模态理解与交互
Qwen-Audio 语音识别与音频理解
Qwen-Embedding 文本或多模态向量表示
Qwen-Reranker 检索结果重排序

这种体系的价值在于,开发者可以根据具体任务选择不同模型,而不必让一个通用模型承担所有工作。

6.3 Dense 与 MoE 并行发展

Qwen 的模型体系中既有 Dense 模型,也有 MoE 模型。

Dense 模型

每个 Token 通常经过模型中对应的完整 Dense FFN 子层。

主要特点:

  • 结构相对直接。
  • 部署方式较容易理解。
  • 计算量与参数规模具有较直接的关系。

MoE 模型

通过 Router 动态选择部分专家参与计算。

主要特点:

  • 总参数规模可以较大。
  • 单 Token 激活参数量可以较小。
  • 需要处理专家路由与通信。
  • 多设备部署时需要关注 All-to-All 通信。

Qwen 的不同模型版本可能采用不同结构,不能认为整个 Qwen 系列都是 MoE。

6.4 Qwen 的多模态技术

Qwen 的多模态体系覆盖视觉、音频和视频等方向。

例如,视觉语言模型需要同时处理:

  • 图像像素信息。
  • 视觉特征。
  • 文本指令。
  • 图文之间的语义关系。

音频模型则需要处理:

  • 语音信号。
  • 声学特征。
  • 语言内容。
  • 说话人和时间信息。
  • 语音生成。

多模态模型的整体处理过程可以抽象为: