一、什么是大模型 API?
大模型 API(Application Programming Interface)是模型服务提供商向开发者开放的标准化调用接口。开发者通过 HTTP 请求或 SDK,将文本、图像、音频等输入发送给模型,并接收模型生成的结果。
调用大模型 API,本质上是将模型推理能力封装成远程服务。
传统应用通常需要自己部署和运行模型,而通过 API 调用时,模型的计算、推理资源和运行环境由服务提供商负责。
1.1 API 调用的基本架构
一次典型的大模型 API 调用涉及三个主要角色:
- 客户端(Client):发起请求的应用,例如 Web 前端、移动端或后端服务。
- API 服务(API Server):接收请求、完成认证、参数校验和请求调度。
- 大模型(LLM):执行推理并生成响应。
flowchart TD
A["客户端应用"]
B["API 服务"]
C["身份认证"]
D["请求参数校验"]
E["模型推理"]
F["生成响应"]
G["客户端接收结果"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意:客户端通常并不直接连接模型内部的推理进程,而是通过服务商提供的 API 网关或服务入口访问模型。
1.2 调用 API 与本地部署模型的区别
| 对比维度 | 调用云端 API | 本地部署模型 |
|---|---|---|
| 模型运行位置 | 服务商云端 | 自己的服务器 |
| 计算资源 | 服务商提供 | 自行准备 GPU 等资源 |
| 初始成本 | 通常较低 | 通常较高 |
| 运维责任 | 服务商负责底层模型服务 | 自行维护推理环境 |
| 数据控制 | 需要遵循服务商数据政策 | 可自主控制部署环境 |
| 扩展能力 | 依赖服务商配额和服务能力 | 取决于自身基础设施 |
| 计费方式 | 常见为 Token 或其他用量计费 | 硬件、能源和运维成本 |
两种方式并非互斥。企业也可以采用混合架构,将通用任务交给云端 API,将敏感数据或特定任务放在私有化部署环境中处理。
二、大模型 API 的核心组成
在真正编写代码之前,需要理解 API 调用中的几个核心概念。
2.1 Endpoint:接口地址
Endpoint 是 API 服务提供的请求入口,通常是一个 URL。
例如:
https://api.example.com/v1/chat/completions
其中:
https://:使用 HTTPS 协议。api.example.com:API 服务域名。/v1:API 版本路径。/chat/completions:具体接口资源。
不同服务商的 Endpoint 不一定相同。
即使两个服务商都支持 OpenAI 兼容接口,也不能认为它们的所有路径、参数和响应格式完全一致。
2.2 API Key:身份认证凭证
API Key 是调用模型服务时使用的身份认证凭证。
它通常用于:
- 识别调用方身份。
- 关联账户和计费信息。
- 控制调用权限。
- 执行速率限制。
- 统计 API 使用量。
常见请求头:
Authorization: Bearer YOUR_API_KEY
其中 Bearer 表示使用 Bearer Token 认证方式。
API Key 相当于访问模型服务的凭证,不是模型参数,也不是模型本身。
安全要求:
- 不要将 API Key 硬编码在前端 JavaScript 中。
- 不要将 API Key 提交到 Git 仓库。
- 不要在日志中完整打印 API Key。
- 应使用环境变量或专用密钥管理服务保存。
- 发现泄露时应立即撤销并重新生成。
2.3 Model:指定模型
Model 用于指定本次请求调用哪个模型。
例如:
{
"model": "example-model"
}
不同模型可能具有不同能力:
| 模型类型 | 主要能力 |
|---|---|
| 通用语言模型 | 文本理解、生成与推理 |
| 推理模型 | 复杂问题分析与多步骤推理 |
| 视觉语言模型 | 图像理解、OCR、视觉问答 |
| 音频模型 | 语音识别、语音生成、音频理解 |
| 多模态模型 | 同时处理文本、图像、音频或视频 |
模型名称通常由服务商定义。模型的上下文窗口、最大输出长度、工具调用能力和多模态支持范围也可能不同。
2.4 Request 与 Response
API 调用通常由两个部分组成:
- Request:客户端发送给服务端的请求。
- Response:服务端返回给客户端的响应。
请求中包含模型名称、输入内容、生成参数等信息。
响应中包含模型生成的内容、结束原因、Token 使用量等信息。
2.5 Token:模型处理文本的基本单位
大模型通常不会直接以完整单词或汉字作为计算单位,而是先通过 Tokenizer 将文本切分为 Token。
例如:
输入文本:
人工智能正在改变软件开发方式。
Tokenizer:
Token ID 序列
Embedding:
向量表示
Transformer:
上下文计算
输出:
生成的 Token 序列
Token 数量会影响:
- 上下文窗口占用。
- 模型推理计算量。
- KV Cache 显存占用。
- API 计费。
- 请求和响应的处理时间。
需要注意,输入 Token 和输出 Token 的计费价格可能不同,缓存 Token 也可能采用不同计费规则。
三、HTTP 请求的基本结构
大模型 API 通常通过 HTTPS 进行调用。
一次标准 HTTP 请求主要包含:
- HTTP Method。
- Request URL。
- Request Headers。
- Request Body。
3.1 HTTP Method
常见 API 请求使用 POST 方法。
POST /v1/chat/completions HTTP/1.1
POST 表示向服务端提交数据,适合传递 Prompt、模型参数和多模态输入。
3.2 Request Headers
Headers 用于描述请求的认证信息和数据格式。
Authorization: Bearer YOUR_API_KEY
Content-Type: application/json
常见字段:
| Header | 作用 |
|---|---|
| Authorization | 身份认证 |
| Content-Type | 请求体的数据格式 |
| Accept | 希望接收的数据格式 |
| User-Agent | 标识客户端程序 |
| 自定义追踪字段 | 关联请求日志和调用链 |
并非所有服务商都支持相同的自定义 Header。
3.3 Request Body
请求主体通常采用 JSON 格式。
以下是一个常见的 Chat Completions 风格请求示例:
{
"model": "example-model",
"messages": [
{
"role": "system",
"content": "你是一个专业的技术助手。"
},
{
"role": "user",
"content": "解释一下 Transformer 的工作原理。"
}
],
"temperature": 0.7,
"max_tokens": 1000,
"stream": false
}
主要字段:
| 字段 | 作用 |
|---|---|
| model | 指定模型 |
| messages | 对话消息列表 |
| role | 消息角色 |
| content | 消息内容 |
| temperature | 控制生成随机性 |
| max_tokens | 限制输出 Token 数量,具体字段和含义依接口而定 |
| stream | 是否启用流式响应 |
注意:这里采用的是一种常见的 OpenAI Chat Completions 兼容风格示例。不同 API 可能使用 max_output_tokens、max_completion_tokens 等其他字段,不能直接假设参数完全通用。
四、理解 Messages 与 Role
在对话式 API 中,messages 通常用于描述对话上下文。
一个消息一般包含:
{
"role": "user",
"content": "你好"
}
其中 role 用于区分消息来源和作用。
4.1 常见消息角色
| Role | 含义 | 作用 |
|---|---|---|
| system | 系统指令 | 定义模型行为和约束 |
| developer | 开发者指令 | 定义应用级规则 |
| user | 用户消息 | 提供问题和输入 |
| assistant | 模型消息 | 表示模型生成的内容 |
| tool | 工具结果 | 表示外部工具返回的数据 |
具体支持哪些角色,取决于 API 协议。
4.2 System Message
System Message 通常用于定义模型的整体行为。
例如:
{
"role": "system",
"content": "你是一名资深 Python 工程师,回答时优先提供准确、可运行的代码。"
}
它可以定义:
- 模型身份。
- 回答风格。
- 任务边界。
- 输出格式。
- 业务规则。
System Message 并不是模型参数更新,也不会永久改变模型。它只是在当前请求或会话上下文中提供指令。
4.3 User Message
User Message 是用户实际提交的内容。
{
"role": "user",
"content": "请使用 Python 实现一个快速排序算法。"
}
模型会结合当前请求中的其他上下文理解用户意图。
4.4 Assistant Message
Assistant Message 表示模型生成的内容。
{
"role": "assistant",
"content": "快速排序是一种基于分治思想的排序算法。"
}
多轮对话中,应用通常需要保存之前的用户消息和模型回复,以便后续请求继续使用这些上下文。
4.5 Tool Message
Tool Message 用于承载外部工具执行后的结果。
例如,模型请求查询天气,应用调用天气服务后,将结果以工具消息的形式传回模型。
不同 API 对工具调用结果的消息结构可能有所不同,不能将所有服务商的协议混为一谈。
五、使用 Python 调用大模型 API
理解 HTTP 请求后,可以直接使用 Python 发起 API 调用。
5.1 使用 requests 库
requests 是 Python 常用的 HTTP 客户端库。
安装:
pip install requests
准备环境变量:
export LLM_API_KEY="your-api-key"
export LLM_BASE_URL="https://api.example.com/v1"
Python 调用示例:
import os
import requests
api_key = os.environ["LLM_API_KEY"]
base_url = os.environ["LLM_BASE_URL"]
url = f"{base_url}/chat/completions"
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
payload = {
"model": "example-model",
"messages": [
{
"role": "system",
"content": "你是一名专业的技术助手。"
},
{
"role": "user",
"content": "什么是 Transformer?"
}
],
"temperature": 0.7,
"max_tokens": 1000
}
response = requests.post(
url,
headers=headers,
json=payload,
timeout=60
)
response.raise_for_status()
result = response.json()
print(result)
这里需要关注几个细节:
headers负责认证和声明数据格式。json=payload会将 Python 对象序列化为 JSON。timeout=60用于限制请求等待时间。raise_for_status()会在 HTTP 错误状态下抛出异常。response.json()将响应体解析为 Python 对象。
实际开发时,不应直接假设返回结果一定存在某个固定字段,应先检查服务商定义的响应结构。
5.2 解析模型响应
以常见 Chat Completions 风格响应为例:
{
"id": "chatcmpl-example",
"object": "chat.completion",
"model": "example-model",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "Transformer 是一种基于注意力机制的神经网络架构。"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 20,
"completion_tokens": 18,
"total_tokens": 38
}
}
提取文本:
answer = result["choices"][0]["message"]["content"]
print(answer)
提取 Token 使用量:
usage = result.get("usage", {})
prompt_tokens = usage.get("prompt_tokens", 0)
completion_tokens = usage.get("completion_tokens", 0)
total_tokens = usage.get("total_tokens", 0)
print("输入 Token:", prompt_tokens)
print("输出 Token:", completion_tokens)
print("总 Token:", total_tokens)
这里的响应字段属于示例协议,并非所有模型 API 都采用相同结构。
5.3 使用官方 SDK
除了直接发送 HTTP 请求,也可以使用服务商提供的 SDK。
以 Python 中常见的 OpenAI SDK 调用风格为例:
安装:
pip install openai
设置环境变量:
export OPENAI_API_KEY="your-api-key"
调用:
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="example-model",
messages=[
{
"role": "system",
"content": "你是一名专业的技术助手。"
},
{
"role": "user",
"content": "解释一下什么是 KV Cache。"
}
],
temperature=0.7,
max_tokens=1000
)
print(response.choices[0].message.content)
SDK 的主要价值是封装底层 HTTP 通信:
- 自动处理请求序列化。
- 统一响应对象。
- 提供异常类型。
- 支持流式迭代。
- 提供超时和重试等配置能力。
SDK 并不会替代模型推理过程,也不会自动保证回答正确。
如果使用兼容服务商的 API,通常还需要配置 base_url,并核对其支持的接口、字段和模型能力。
六、多轮对话:如何维护上下文?
一个常见误区是认为模型 API 会自动记住之前的对话。
实际上,许多基础 API 调用采用无状态请求模式:每次请求只处理本次提交的数据,不会自动获得应用中之前的全部对话历史。
如果希望模型理解上下文,应用需要显式维护历史消息,或者使用服务商提供的会话状态管理能力。
6.1 单轮对话
单轮对话只提交当前问题:
{
"model": "example-model",
"messages": [
{
"role": "user",
"content": "什么是数据库索引?"
}
]
}
模型可以回答当前问题,但下一次请求不会因为之前调用过 API,就天然知道这次问题的上下文。
6.2 多轮对话
假设用户进行了三轮对话:
- 什么是数据库索引?
- 它为什么能够提高查询速度?
- B+ 树为什么适合做索引?
应用需要将相关历史消息一起提交:
{
"model": "example-model",
"messages": [
{
"role": "system",
"content": "你是一名数据库专家。"
},
{
"role": "user",
"content": "什么是数据库索引?"
},
{
"role": "assistant",
"content": "数据库索引是一种用于加速数据检索的数据结构。"
},
{
"role": "user",
"content": "它为什么能够提高查询速度?"
},
{
"role": "assistant",
"content": "索引可以帮助数据库缩小搜索范围,减少不必要的数据扫描。"
},
{
"role": "user",
"content": "B+ 树为什么适合做索引?"
}
]
}
模型通过完整的消息上下文理解第三轮问题中的“它”和前面的讨论主题。
6.3 多轮对话的维护流程
flowchart TD
A["接收用户消息"]
B["读取历史对话"]
C["构造 Messages"]
D["调用大模型 API"]
E["接收模型响应"]
F["保存模型回复"]
G["返回用户"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
6.4 为什么不能无限保存对话历史?
每次请求都携带完整历史,会带来几个问题:
- 输入 Token 持续增长。
- API 调用成本增加。
- 推理计算开销增加。
- 上下文窗口可能被耗尽。
- 早期无关信息可能干扰当前任务。
常见优化策略:
| 策略 | 主要作用 |
|---|---|
| 历史截断 | 只保留最近若干轮对话 |
| 对话摘要 | 将较早的历史压缩为摘要 |
| RAG 检索 | 根据当前问题检索相关历史 |
| 重要信息提取 | 保存用户偏好、任务状态等结构化信息 |
| 上下文分层 | 区分系统指令、长期信息和短期对话 |
实际系统通常采用多种策略组合,而不是简单地无限累积 Messages。
七、生成参数:如何控制模型输出?
模型 API 通常支持一些生成参数,用于控制输出行为。
7.1 Temperature
Temperature 用于调节生成时概率分布的随机性。
在采样过程中,可以将原始 Logits z_i 按温度 T 缩放:
一般来说:
- 温度较低:概率分布更尖锐,生成结果更稳定。
- 温度较高:概率分布更平缓,生成结果更加多样。
示例:
{
"temperature": 0.2
}
适合对稳定性要求较高的任务。
{
"temperature": 0.9
}
可以用于需要更多表达变化的生成任务。
Temperature 并不是准确性开关。低温度不能保证事实正确,高温度也不意味着一定产生错误。
7.2 Top-P
Top-P 又称核采样(Nucleus Sampling)。
模型根据 Token 概率从高到低排序,选择累计概率达到指定阈值的候选集合,再从集合中进行采样。
例如:
{
"top_p": 0.9
}
表示从累计概率达到 0.9 的候选集合中采样。
Temperature 和 Top-P 都会影响采样分布,通常不建议在缺少实验依据时同时大幅调整两者。
7.3 最大输出 Token 数
最大输出 Token 数用于限制模型生成的长度。
不同 API 可能使用不同参数名称,例如:
max_tokensmax_completion_tokensmax_output_tokens
具体名称和支持范围以服务商文档为准。
需要区分:
- 输入 Token:用户消息、系统指令和历史上下文。
- 输出 Token:模型生成的内容。
最大输出 Token 通常限制生成部分,不等于整个请求的上下文窗口大小。
7.4 Stop Sequences
Stop Sequences 用于指定某些停止标记。
当生成内容达到服务商定义的停止条件时,模型可能提前结束输出。
例如:
{
"stop": ["<END>"]
}
不同 API 对停止序列的支持和匹配方式可能存在差异。
7.5 生成参数对比
| 参数 | 控制对象 | 主要影响 |
|---|---|---|
| Temperature | 概率分布 | 生成随机性 |
| Top-P | 候选 Token 集合 | 采样范围 |
| 最大输出 Token | 输出长度 | 响应规模 |
| Stop Sequences | 结束条件 | 生成终止位置 |
| Seed | 随机数初始化 | 在支持的环境中辅助复现 |
Seed 不保证跨模型版本、硬件环境或服务端实现获得完全一致的结果。
八、Streaming:流式响应
默认情况下,API 可能等模型生成完整答案后,再一次性返回响应。
这种方式称为非流式响应(Non-streaming)。
对于长文本生成,用户需要等待较长时间才能看到第一个字。
Streaming 则允许服务端在生成过程中持续发送增量结果。
8.1 非流式与流式的区别
| 对比维度 | 非流式 | 流式 |
|---|---|---|
| 返回方式 | 一次性返回完整结果 | 持续返回增量数据 |
| 首次展示 | 等待完整响应 | 可以较早展示 |
| 用户体验 | 长回答等待明显 | 可以逐步阅读 |
| 客户端处理 | 解析完整 JSON | 持续解析事件 |
| 适用场景 | 短文本、后台任务 | 聊天、长文本生成 |
流式响应不意味着模型计算本身一定更快,而是让已经生成的部分可以更早传输和展示。
8.2 SSE:Server-Sent Events
许多大模型 API 使用 SSE 风格的事件流传输生成结果。
典型响应可能包含:
Content-Type: text/event-stream
事件数据示例:
data: {"choices":[{"delta":{"content":"Transformer"}}]}
data: {"choices":[{"delta":{"content":" 是一种"}}]}
data: {"choices":[{"delta":{"content":" 神经网络架构"}}]}
data: [DONE]
客户端需要逐步解析事件,而不是将整个响应当作一个完整 JSON。
需要区分几个概念:
- SSE:一种服务端向客户端推送事件的数据格式与机制。
- HTTP Chunked Transfer:HTTP/1.1 中的一种分块传输编码机制。
- WebSocket:支持双向通信的协议。
它们不是同一个概念。SSE 可以通过 HTTP 分块等方式传输,但不能简单认为 SSE 就等于 Chunked Transfer。
8.3 流式响应流程
flowchart TD
A["客户端发送请求"]
B["服务端开始推理"]
C["生成新的 Token"]
D["封装增量事件"]
E["发送数据 Chunk"]
F["客户端解析事件"]
G["更新界面"]
H{"生成是否结束"}
I["结束流连接"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H -->|"否"| C
H -->|"是"| I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
8.4 Python 流式调用示例
以常见 SDK 的 Chat Completions 风格为例:
from openai import OpenAI
client = OpenAI()
stream = client.chat.completions.create(
model="example-model",
messages=[
{
"role": "user",
"content": "详细解释一下 Transformer。"
}
],
stream=True
)
for chunk in stream:
if not chunk.choices:
continue
delta = chunk.choices[0].delta
content = delta.content
if content:
print(content, end="", flush=True)
这里的 stream=True 表示请求流式响应。
客户端通过迭代器不断接收新的数据片段。
生产环境还需要处理:
- 流中断。
- 网络超时。
- 客户端取消请求。
- 结束标记。
- 工具调用参数增量。
- 服务端代理缓冲。
- 部分事件缺少文本内容的情况。
8.5 重要的流式性能指标
| 指标 | 含义 |
|---|---|
| TTFT | Time To First Token,首个 Token 返回时间 |
| TPOT | Time Per Output Token,平均每个输出 Token 的生成时间 |
| TPS | Tokens Per Second,Token 生成或处理速率,具体统计口径需明确 |
| E2E Latency | 从请求发起到响应完成的总耗时 |
这些指标反映模型服务的不同性能维度,不能只用总响应时间判断流式体验。
九、Function Calling:让模型调用外部工具
大模型本身主要负责理解和生成内容,并不天然拥有访问数据库、查询天气、执行支付或操作业务系统的权限。
Function Calling(函数调用)允许模型按照预先定义的工具描述,生成结构化调用请求。
应用程序解析请求并执行实际工具,再将执行结果返回模型。
9.1 Function Calling 的基本原理
假设用户提出:
帮我查询北京今天的天气。
系统定义一个天气查询工具:
{
"type": "function",
"function": {
"name": "get_weather",
"description": "查询指定城市的天气",
"parameters": {
"type": "object",
"properties": {
"city": {
"type": "string",
"description": "城市名称"
}
},
"required": ["city"]
}
}
}
模型可能生成一个结构化调用请求:
{
"name": "get_weather",
"arguments": {
"city": "北京"
}
}
注意:模型生成这段内容,并不代表天气查询已经执行。
实际调用由应用程序负责。
9.2 Function Calling 的完整流程
flowchart TD
A["用户提出请求"]
B["应用提交消息与工具定义"]
C["模型判断是否需要调用工具"]
D{"是否需要工具"}
E["模型生成普通回答"]
F["模型生成工具调用请求"]
G["应用解析调用参数"]
H["参数与权限校验"]
I["执行外部工具"]
J["返回工具执行结果"]
K["将工具结果提交模型"]
L["模型生成最终回答"]
A --> B
B --> C
C --> D
D -->|"不需要"| E
D -->|"需要"| F
F --> G
G --> H
H --> I
I --> J
J --> K
K --> L
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E5F0E9,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
9.3 Function Calling 与普通文本生成的区别
| 对比维度 | 普通文本生成 | Function Calling |
|---|---|---|
| 输出内容 | 自然语言文本 | 结构化调用请求 |
| 是否执行外部操作 | 通常不执行 | 由应用执行工具 |
| 参数格式 | 自由文本 | 通常受 Schema 约束 |
| 结果来源 | 模型生成 | 模型与外部工具共同参与 |
| 主要用途 | 问答、总结、写作 | 查询、计算、业务操作 |
Function Calling 是 Agent 系统的重要基础,但它本身不等于完整 Agent。
生产系统还需要工具权限控制、执行状态管理、异常处理和调用审计。
十、多模态 API:图像、音频与视频输入
现代大模型 API 不再局限于文本。
不同模型和服务商可能支持:
- 文本输入与生成。
- 图像理解。
- 音频识别与理解。
- 语音生成。
- 视频理解。
- 实时音视频交互。
10.1 图像输入
视觉语言模型(VLM)能够处理图像,并结合文本指令完成视觉理解任务。
典型任务包括:
- 图像描述。
- OCR 文字识别。
- 图表分析。
- 图片问答。
- 视觉推理。
- 多图对比。