返回专栏
· 25 分钟阅读

如何调用大模型 API?从 HTTP 请求到生产级 AI 应用集成


一、什么是大模型 API?

大模型 API(Application Programming Interface)是模型服务提供商向开发者开放的标准化调用接口。开发者通过 HTTP 请求或 SDK,将文本、图像、音频等输入发送给模型,并接收模型生成的结果。

调用大模型 API,本质上是将模型推理能力封装成远程服务。

传统应用通常需要自己部署和运行模型,而通过 API 调用时,模型的计算、推理资源和运行环境由服务提供商负责。

1.1 API 调用的基本架构

一次典型的大模型 API 调用涉及三个主要角色:

  • 客户端(Client):发起请求的应用,例如 Web 前端、移动端或后端服务。
  • API 服务(API Server):接收请求、完成认证、参数校验和请求调度。
  • 大模型(LLM):执行推理并生成响应。
flowchart TD
    A["客户端应用"]
    B["API 服务"]
    C["身份认证"]
    D["请求参数校验"]
    E["模型推理"]
    F["生成响应"]
    G["客户端接收结果"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要注意:客户端通常并不直接连接模型内部的推理进程,而是通过服务商提供的 API 网关或服务入口访问模型。

1.2 调用 API 与本地部署模型的区别

对比维度 调用云端 API 本地部署模型
模型运行位置 服务商云端 自己的服务器
计算资源 服务商提供 自行准备 GPU 等资源
初始成本 通常较低 通常较高
运维责任 服务商负责底层模型服务 自行维护推理环境
数据控制 需要遵循服务商数据政策 可自主控制部署环境
扩展能力 依赖服务商配额和服务能力 取决于自身基础设施
计费方式 常见为 Token 或其他用量计费 硬件、能源和运维成本

两种方式并非互斥。企业也可以采用混合架构,将通用任务交给云端 API,将敏感数据或特定任务放在私有化部署环境中处理。

二、大模型 API 的核心组成

在真正编写代码之前,需要理解 API 调用中的几个核心概念。

2.1 Endpoint:接口地址

Endpoint 是 API 服务提供的请求入口,通常是一个 URL。

例如:

https://api.example.com/v1/chat/completions

其中:

  • https://:使用 HTTPS 协议。
  • api.example.com:API 服务域名。
  • /v1:API 版本路径。
  • /chat/completions:具体接口资源。

不同服务商的 Endpoint 不一定相同。

即使两个服务商都支持 OpenAI 兼容接口,也不能认为它们的所有路径、参数和响应格式完全一致。

2.2 API Key:身份认证凭证

API Key 是调用模型服务时使用的身份认证凭证。

它通常用于:

  • 识别调用方身份。
  • 关联账户和计费信息。
  • 控制调用权限。
  • 执行速率限制。
  • 统计 API 使用量。

常见请求头:

Authorization: Bearer YOUR_API_KEY

其中 Bearer 表示使用 Bearer Token 认证方式。

API Key 相当于访问模型服务的凭证,不是模型参数,也不是模型本身。

安全要求:

  • 不要将 API Key 硬编码在前端 JavaScript 中。
  • 不要将 API Key 提交到 Git 仓库。
  • 不要在日志中完整打印 API Key。
  • 应使用环境变量或专用密钥管理服务保存。
  • 发现泄露时应立即撤销并重新生成。

2.3 Model:指定模型

Model 用于指定本次请求调用哪个模型。

例如:

{
  "model": "example-model"
}

不同模型可能具有不同能力:

模型类型 主要能力
通用语言模型 文本理解、生成与推理
推理模型 复杂问题分析与多步骤推理
视觉语言模型 图像理解、OCR、视觉问答
音频模型 语音识别、语音生成、音频理解
多模态模型 同时处理文本、图像、音频或视频

模型名称通常由服务商定义。模型的上下文窗口、最大输出长度、工具调用能力和多模态支持范围也可能不同。

2.4 Request 与 Response

API 调用通常由两个部分组成:

  • Request:客户端发送给服务端的请求。
  • Response:服务端返回给客户端的响应。

请求中包含模型名称、输入内容、生成参数等信息。

响应中包含模型生成的内容、结束原因、Token 使用量等信息。

2.5 Token:模型处理文本的基本单位

大模型通常不会直接以完整单词或汉字作为计算单位,而是先通过 Tokenizer 将文本切分为 Token。

例如:

输入文本:
人工智能正在改变软件开发方式。

Tokenizer:
Token ID 序列

Embedding:
向量表示

Transformer:
上下文计算

输出:
生成的 Token 序列

Token 数量会影响:

  • 上下文窗口占用。
  • 模型推理计算量。
  • KV Cache 显存占用。
  • API 计费。
  • 请求和响应的处理时间。

需要注意,输入 Token 和输出 Token 的计费价格可能不同,缓存 Token 也可能采用不同计费规则。

三、HTTP 请求的基本结构

大模型 API 通常通过 HTTPS 进行调用。

一次标准 HTTP 请求主要包含:

  1. HTTP Method。
  2. Request URL。
  3. Request Headers。
  4. Request Body。

3.1 HTTP Method

常见 API 请求使用 POST 方法。

POST /v1/chat/completions HTTP/1.1

POST 表示向服务端提交数据,适合传递 Prompt、模型参数和多模态输入。

3.2 Request Headers

Headers 用于描述请求的认证信息和数据格式。

Authorization: Bearer YOUR_API_KEY
Content-Type: application/json

常见字段:

Header 作用
Authorization 身份认证
Content-Type 请求体的数据格式
Accept 希望接收的数据格式
User-Agent 标识客户端程序
自定义追踪字段 关联请求日志和调用链

并非所有服务商都支持相同的自定义 Header。

3.3 Request Body

请求主体通常采用 JSON 格式。

以下是一个常见的 Chat Completions 风格请求示例:

{
  "model": "example-model",
  "messages": [
    {
      "role": "system",
      "content": "你是一个专业的技术助手。"
    },
    {
      "role": "user",
      "content": "解释一下 Transformer 的工作原理。"
    }
  ],
  "temperature": 0.7,
  "max_tokens": 1000,
  "stream": false
}

主要字段:

字段 作用
model 指定模型
messages 对话消息列表
role 消息角色
content 消息内容
temperature 控制生成随机性
max_tokens 限制输出 Token 数量,具体字段和含义依接口而定
stream 是否启用流式响应

注意:这里采用的是一种常见的 OpenAI Chat Completions 兼容风格示例。不同 API 可能使用 max_output_tokens、max_completion_tokens 等其他字段,不能直接假设参数完全通用。

四、理解 Messages 与 Role

在对话式 API 中,messages 通常用于描述对话上下文。

一个消息一般包含:

{
  "role": "user",
  "content": "你好"
}

其中 role 用于区分消息来源和作用。

4.1 常见消息角色

Role 含义 作用
system 系统指令 定义模型行为和约束
developer 开发者指令 定义应用级规则
user 用户消息 提供问题和输入
assistant 模型消息 表示模型生成的内容
tool 工具结果 表示外部工具返回的数据

具体支持哪些角色,取决于 API 协议。

4.2 System Message

System Message 通常用于定义模型的整体行为。

例如:

{
  "role": "system",
  "content": "你是一名资深 Python 工程师,回答时优先提供准确、可运行的代码。"
}

它可以定义:

  • 模型身份。
  • 回答风格。
  • 任务边界。
  • 输出格式。
  • 业务规则。

System Message 并不是模型参数更新,也不会永久改变模型。它只是在当前请求或会话上下文中提供指令。

4.3 User Message

User Message 是用户实际提交的内容。

{
  "role": "user",
  "content": "请使用 Python 实现一个快速排序算法。"
}

模型会结合当前请求中的其他上下文理解用户意图。

4.4 Assistant Message

Assistant Message 表示模型生成的内容。

{
  "role": "assistant",
  "content": "快速排序是一种基于分治思想的排序算法。"
}

多轮对话中,应用通常需要保存之前的用户消息和模型回复,以便后续请求继续使用这些上下文。

4.5 Tool Message

Tool Message 用于承载外部工具执行后的结果。

例如,模型请求查询天气,应用调用天气服务后,将结果以工具消息的形式传回模型。

不同 API 对工具调用结果的消息结构可能有所不同,不能将所有服务商的协议混为一谈。

五、使用 Python 调用大模型 API

理解 HTTP 请求后,可以直接使用 Python 发起 API 调用。

5.1 使用 requests 库

requests 是 Python 常用的 HTTP 客户端库。

安装:

pip install requests

准备环境变量:

export LLM_API_KEY="your-api-key"
export LLM_BASE_URL="https://api.example.com/v1"

Python 调用示例:

import os
import requests

api_key = os.environ["LLM_API_KEY"]
base_url = os.environ["LLM_BASE_URL"]

url = f"{base_url}/chat/completions"

headers = {
    "Authorization": f"Bearer {api_key}",
    "Content-Type": "application/json"
}

payload = {
    "model": "example-model",
    "messages": [
        {
            "role": "system",
            "content": "你是一名专业的技术助手。"
        },
        {
            "role": "user",
            "content": "什么是 Transformer?"
        }
    ],
    "temperature": 0.7,
    "max_tokens": 1000
}

response = requests.post(
    url,
    headers=headers,
    json=payload,
    timeout=60
)

response.raise_for_status()

result = response.json()

print(result)

这里需要关注几个细节:

  • headers 负责认证和声明数据格式。
  • json=payload 会将 Python 对象序列化为 JSON。
  • timeout=60 用于限制请求等待时间。
  • raise_for_status() 会在 HTTP 错误状态下抛出异常。
  • response.json() 将响应体解析为 Python 对象。

实际开发时,不应直接假设返回结果一定存在某个固定字段,应先检查服务商定义的响应结构。

5.2 解析模型响应

以常见 Chat Completions 风格响应为例:

{
  "id": "chatcmpl-example",
  "object": "chat.completion",
  "model": "example-model",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Transformer 是一种基于注意力机制的神经网络架构。"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 20,
    "completion_tokens": 18,
    "total_tokens": 38
  }
}

提取文本:

answer = result["choices"][0]["message"]["content"]

print(answer)

提取 Token 使用量:

usage = result.get("usage", {})

prompt_tokens = usage.get("prompt_tokens", 0)
completion_tokens = usage.get("completion_tokens", 0)
total_tokens = usage.get("total_tokens", 0)

print("输入 Token:", prompt_tokens)
print("输出 Token:", completion_tokens)
print("总 Token:", total_tokens)

这里的响应字段属于示例协议,并非所有模型 API 都采用相同结构。

5.3 使用官方 SDK

除了直接发送 HTTP 请求,也可以使用服务商提供的 SDK。

以 Python 中常见的 OpenAI SDK 调用风格为例:

安装:

pip install openai

设置环境变量:

export OPENAI_API_KEY="your-api-key"

调用:

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="example-model",
    messages=[
        {
            "role": "system",
            "content": "你是一名专业的技术助手。"
        },
        {
            "role": "user",
            "content": "解释一下什么是 KV Cache。"
        }
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

SDK 的主要价值是封装底层 HTTP 通信:

  • 自动处理请求序列化。
  • 统一响应对象。
  • 提供异常类型。
  • 支持流式迭代。
  • 提供超时和重试等配置能力。

SDK 并不会替代模型推理过程,也不会自动保证回答正确。

如果使用兼容服务商的 API,通常还需要配置 base_url,并核对其支持的接口、字段和模型能力。

六、多轮对话:如何维护上下文?

一个常见误区是认为模型 API 会自动记住之前的对话。

实际上,许多基础 API 调用采用无状态请求模式:每次请求只处理本次提交的数据,不会自动获得应用中之前的全部对话历史。

如果希望模型理解上下文,应用需要显式维护历史消息,或者使用服务商提供的会话状态管理能力。

6.1 单轮对话

单轮对话只提交当前问题:

{
  "model": "example-model",
  "messages": [
    {
      "role": "user",
      "content": "什么是数据库索引?"
    }
  ]
}

模型可以回答当前问题,但下一次请求不会因为之前调用过 API,就天然知道这次问题的上下文。

6.2 多轮对话

假设用户进行了三轮对话:

  1. 什么是数据库索引?
  2. 它为什么能够提高查询速度?
  3. B+ 树为什么适合做索引?

应用需要将相关历史消息一起提交:

{
  "model": "example-model",
  "messages": [
    {
      "role": "system",
      "content": "你是一名数据库专家。"
    },
    {
      "role": "user",
      "content": "什么是数据库索引?"
    },
    {
      "role": "assistant",
      "content": "数据库索引是一种用于加速数据检索的数据结构。"
    },
    {
      "role": "user",
      "content": "它为什么能够提高查询速度?"
    },
    {
      "role": "assistant",
      "content": "索引可以帮助数据库缩小搜索范围,减少不必要的数据扫描。"
    },
    {
      "role": "user",
      "content": "B+ 树为什么适合做索引?"
    }
  ]
}

模型通过完整的消息上下文理解第三轮问题中的“它”和前面的讨论主题。

6.3 多轮对话的维护流程

flowchart TD
    A["接收用户消息"]
    B["读取历史对话"]
    C["构造 Messages"]
    D["调用大模型 API"]
    E["接收模型响应"]
    F["保存模型回复"]
    G["返回用户"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

6.4 为什么不能无限保存对话历史?

每次请求都携带完整历史,会带来几个问题:

  • 输入 Token 持续增长。
  • API 调用成本增加。
  • 推理计算开销增加。
  • 上下文窗口可能被耗尽。
  • 早期无关信息可能干扰当前任务。

常见优化策略:

策略 主要作用
历史截断 只保留最近若干轮对话
对话摘要 将较早的历史压缩为摘要
RAG 检索 根据当前问题检索相关历史
重要信息提取 保存用户偏好、任务状态等结构化信息
上下文分层 区分系统指令、长期信息和短期对话

实际系统通常采用多种策略组合,而不是简单地无限累积 Messages。

七、生成参数:如何控制模型输出?

模型 API 通常支持一些生成参数,用于控制输出行为。

7.1 Temperature

Temperature 用于调节生成时概率分布的随机性。

在采样过程中,可以将原始 Logits z_i 按温度 T 缩放:

P(x_i)= \frac{\exp(z_i/T)}

一般来说:

  • 温度较低:概率分布更尖锐,生成结果更稳定。
  • 温度较高:概率分布更平缓,生成结果更加多样。

示例:

{
  "temperature": 0.2
}

适合对稳定性要求较高的任务。

{
  "temperature": 0.9
}

可以用于需要更多表达变化的生成任务。

Temperature 并不是准确性开关。低温度不能保证事实正确,高温度也不意味着一定产生错误。

7.2 Top-P

Top-P 又称核采样(Nucleus Sampling)。

模型根据 Token 概率从高到低排序,选择累计概率达到指定阈值的候选集合,再从集合中进行采样。

例如:

{
  "top_p": 0.9
}

表示从累计概率达到 0.9 的候选集合中采样。

Temperature 和 Top-P 都会影响采样分布,通常不建议在缺少实验依据时同时大幅调整两者。

7.3 最大输出 Token 数

最大输出 Token 数用于限制模型生成的长度。

不同 API 可能使用不同参数名称,例如:

  • max_tokens
  • max_completion_tokens
  • max_output_tokens

具体名称和支持范围以服务商文档为准。

需要区分:

  • 输入 Token:用户消息、系统指令和历史上下文。
  • 输出 Token:模型生成的内容。

最大输出 Token 通常限制生成部分,不等于整个请求的上下文窗口大小。

7.4 Stop Sequences

Stop Sequences 用于指定某些停止标记。

当生成内容达到服务商定义的停止条件时,模型可能提前结束输出。

例如:

{
  "stop": ["<END>"]
}

不同 API 对停止序列的支持和匹配方式可能存在差异。

7.5 生成参数对比

参数 控制对象 主要影响
Temperature 概率分布 生成随机性
Top-P 候选 Token 集合 采样范围
最大输出 Token 输出长度 响应规模
Stop Sequences 结束条件 生成终止位置
Seed 随机数初始化 在支持的环境中辅助复现

Seed 不保证跨模型版本、硬件环境或服务端实现获得完全一致的结果。

八、Streaming:流式响应

默认情况下,API 可能等模型生成完整答案后,再一次性返回响应。

这种方式称为非流式响应(Non-streaming)。

对于长文本生成,用户需要等待较长时间才能看到第一个字。

Streaming 则允许服务端在生成过程中持续发送增量结果。

8.1 非流式与流式的区别

对比维度 非流式 流式
返回方式 一次性返回完整结果 持续返回增量数据
首次展示 等待完整响应 可以较早展示
用户体验 长回答等待明显 可以逐步阅读
客户端处理 解析完整 JSON 持续解析事件
适用场景 短文本、后台任务 聊天、长文本生成

流式响应不意味着模型计算本身一定更快,而是让已经生成的部分可以更早传输和展示。

8.2 SSE:Server-Sent Events

许多大模型 API 使用 SSE 风格的事件流传输生成结果。

典型响应可能包含:

Content-Type: text/event-stream

事件数据示例:

data: {"choices":[{"delta":{"content":"Transformer"}}]}

data: {"choices":[{"delta":{"content":" 是一种"}}]}

data: {"choices":[{"delta":{"content":" 神经网络架构"}}]}

data: [DONE]

客户端需要逐步解析事件,而不是将整个响应当作一个完整 JSON。

需要区分几个概念:

  • SSE:一种服务端向客户端推送事件的数据格式与机制。
  • HTTP Chunked Transfer:HTTP/1.1 中的一种分块传输编码机制。
  • WebSocket:支持双向通信的协议。

它们不是同一个概念。SSE 可以通过 HTTP 分块等方式传输,但不能简单认为 SSE 就等于 Chunked Transfer。

8.3 流式响应流程

flowchart TD
    A["客户端发送请求"]
    B["服务端开始推理"]
    C["生成新的 Token"]
    D["封装增量事件"]
    E["发送数据 Chunk"]
    F["客户端解析事件"]
    G["更新界面"]
    H{"生成是否结束"}
    I["结束流连接"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H -->|"否"| C
    H -->|"是"| I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

8.4 Python 流式调用示例

以常见 SDK 的 Chat Completions 风格为例:

from openai import OpenAI

client = OpenAI()

stream = client.chat.completions.create(
    model="example-model",
    messages=[
        {
            "role": "user",
            "content": "详细解释一下 Transformer。"
        }
    ],
    stream=True
)

for chunk in stream:
    if not chunk.choices:
        continue

    delta = chunk.choices[0].delta
    content = delta.content

    if content:
        print(content, end="", flush=True)

这里的 stream=True 表示请求流式响应。

客户端通过迭代器不断接收新的数据片段。

生产环境还需要处理:

  • 流中断。
  • 网络超时。
  • 客户端取消请求。
  • 结束标记。
  • 工具调用参数增量。
  • 服务端代理缓冲。
  • 部分事件缺少文本内容的情况。

8.5 重要的流式性能指标

指标 含义
TTFT Time To First Token,首个 Token 返回时间
TPOT Time Per Output Token,平均每个输出 Token 的生成时间
TPS Tokens Per Second,Token 生成或处理速率,具体统计口径需明确
E2E Latency 从请求发起到响应完成的总耗时

这些指标反映模型服务的不同性能维度,不能只用总响应时间判断流式体验。

九、Function Calling:让模型调用外部工具

大模型本身主要负责理解和生成内容,并不天然拥有访问数据库、查询天气、执行支付或操作业务系统的权限。

Function Calling(函数调用)允许模型按照预先定义的工具描述,生成结构化调用请求。

应用程序解析请求并执行实际工具,再将执行结果返回模型。

9.1 Function Calling 的基本原理

假设用户提出:

帮我查询北京今天的天气。

系统定义一个天气查询工具:

{
  "type": "function",
  "function": {
    "name": "get_weather",
    "description": "查询指定城市的天气",
    "parameters": {
      "type": "object",
      "properties": {
        "city": {
          "type": "string",
          "description": "城市名称"
        }
      },
      "required": ["city"]
    }
  }
}

模型可能生成一个结构化调用请求:

{
  "name": "get_weather",
  "arguments": {
    "city": "北京"
  }
}

注意:模型生成这段内容,并不代表天气查询已经执行。

实际调用由应用程序负责。

9.2 Function Calling 的完整流程

flowchart TD
    A["用户提出请求"]
    B["应用提交消息与工具定义"]
    C["模型判断是否需要调用工具"]
    D{"是否需要工具"}
    E["模型生成普通回答"]
    F["模型生成工具调用请求"]
    G["应用解析调用参数"]
    H["参数与权限校验"]
    I["执行外部工具"]
    J["返回工具执行结果"]
    K["将工具结果提交模型"]
    L["模型生成最终回答"]

    A --> B
    B --> C
    C --> D
    D -->|"不需要"| E
    D -->|"需要"| F
    F --> G
    G --> H
    H --> I
    I --> J
    J --> K
    K --> L

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F

9.3 Function Calling 与普通文本生成的区别

对比维度 普通文本生成 Function Calling
输出内容 自然语言文本 结构化调用请求
是否执行外部操作 通常不执行 由应用执行工具
参数格式 自由文本 通常受 Schema 约束
结果来源 模型生成 模型与外部工具共同参与
主要用途 问答、总结、写作 查询、计算、业务操作

Function Calling 是 Agent 系统的重要基础,但它本身不等于完整 Agent。

生产系统还需要工具权限控制、执行状态管理、异常处理和调用审计。

十、多模态 API:图像、音频与视频输入

现代大模型 API 不再局限于文本。

不同模型和服务商可能支持:

  • 文本输入与生成。
  • 图像理解。
  • 音频识别与理解。
  • 语音生成。
  • 视频理解。
  • 实时音视频交互。

10.1 图像输入

视觉语言模型(VLM)能够处理图像,并结合文本指令完成视觉理解任务。

典型任务包括:

  • 图像描述。
  • OCR 文字识别。
  • 图表分析。
  • 图片问答。
  • 视觉推理。
  • 多图对比。