返回专栏
· 30 分钟阅读

模型网关的架构与设计:构建统一、稳定、可扩展的大模型接入层


一、什么是模型网关?

随着 AI 应用规模扩大,系统通常需要同时接入多个模型服务,包括:

  • 商业模型 API:OpenAI、Anthropic、Google Gemini 等。
  • 云厂商模型服务:各类云平台提供的托管模型 API。
  • 开源模型服务:通过 vLLM、SGLang、TGI 等推理框架部署的模型。
  • 企业内部模型:微调模型、专用模型和私有化部署模型。

如果每个业务系统都直接对接不同模型,容易产生大量重复代码和管理问题:

  1. 接口不统一:不同模型的请求参数、响应结构和错误格式存在差异。
  2. 模型耦合:业务代码直接依赖具体模型名称和供应商 API。
  3. 缺少统一治理:鉴权、限流、配额和成本控制分散在各个业务系统。
  4. 故障处理复杂:某个模型服务异常时,业务系统需要自行处理切换和降级。
  5. 缺少全局可观测性:难以统一统计模型调用量、Token 消耗、延迟和错误率。
  6. 模型升级成本高:替换模型可能需要修改多个业务服务。

模型网关(Model Gateway)就是为了解决这些问题而设计的统一接入层。

它将底层模型服务封装为统一的调用接口,让业务系统不必直接感知不同供应商的实现细节。

1.1 模型网关的核心定位

模型网关位于业务应用和模型服务之间:

flowchart TB
    A["AI 业务应用"]
    B["模型网关"]
    C["模型服务 A"]
    D["模型服务 B"]
    E["模型服务 C"]
    F["私有化模型服务"]

    A --> B
    B --> C
    B --> D
    B --> E
    B --> F

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D

业务应用只需要调用模型网关,不再直接管理每一个模型供应商的连接、认证和请求格式。

1.2 模型网关与 API Gateway 的区别

两者都处于请求入口位置,但解决的问题不同。

对比维度 API Gateway Model Gateway
核心对象 HTTP API、微服务 大语言模型及推理服务
路由依据 URL、HTTP 方法、服务实例 模型名称、能力、成本、延迟、上下文窗口
请求处理 路径转发、协议转换 Prompt、消息、Token、模型参数适配
负载均衡 服务实例负载 模型实例、供应商、推理集群
成本管理 请求量、流量、资源 Token、模型价格、推理成本
故障处理 服务重试、熔断 模型切换、降级、上下文兼容
流式处理 HTTP、WebSocket 等 SSE、流式 Token、生成中断
可观测性 QPS、延迟、错误率 Token、首 Token 延迟、生成速度、模型调用成本

模型网关可以建立在 API Gateway 的基础设施之上,但不能简单地把普通 API 转发能力等同于模型网关。

模型调用具有特殊性:请求长度不固定、响应可能持续生成、成本与 Token 数量相关,而且不同模型的能力和上下文限制差异明显。

因此,模型网关需要具备面向模型推理场景的专门治理能力。


二、模型网关的核心架构

一个生产级模型网关通常由请求入口、协议适配、策略决策、模型路由、执行调度和响应处理等模块组成。

2.1 整体架构

flowchart TB
    A["业务应用"]
    B["统一 API 接入层"]
    C["身份认证与权限校验"]
    D["请求解析与标准化"]
    E["策略决策引擎"]
    F["模型路由器"]
    G["供应商适配层"]
    H["模型服务集群"]
    I["响应标准化"]
    J["流式与非流式响应"]
    K["日志、指标与链路追踪"]
    L["配置中心与模型注册表"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    I --> J

    E -.-> L
    F -.-> L
    B -.-> K
    G -.-> K
    H -.-> K
    J --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D

各模块职责如下:

模块 核心职责
统一 API 接入层 接收业务请求,提供统一调用入口
身份认证与权限校验 验证调用方身份、租户和模型权限
请求解析与标准化 解析请求并转换为内部统一结构
策略决策引擎 判断模型选择、预算、优先级和约束条件
模型路由器 选择符合条件的模型服务
供应商适配层 将内部请求转换为供应商协议
模型服务集群 执行实际模型推理
响应标准化 统一不同模型的响应结构
流式与非流式响应 处理普通响应和增量生成
可观测性模块 采集日志、指标、追踪和成本数据
配置中心 管理模型、路由、价格、权限和策略

2.2 数据平面与控制平面

模型网关可以从架构上划分为数据平面和控制平面。

数据平面(Data Plane)

负责实际请求处理:

  • 接收请求。
  • 校验请求。
  • 执行模型路由。
  • 转发模型调用。
  • 处理模型响应。
  • 采集调用指标。

数据平面处于请求关键路径,对延迟和可用性要求较高。

控制平面(Control Plane)

负责管理数据平面的运行策略:

  • 模型注册与配置。
  • 路由规则管理。
  • 模型价格维护。
  • 租户配额管理。
  • 模型权限管理。
  • 灰度发布与策略更新。
  • 供应商健康状态管理。
flowchart TB
    A["控制平面"]
    B["模型注册中心"]
    C["路由策略管理"]
    D["权限与配额配置"]
    E["价格与能力配置"]
    F["配置分发"]
    G["数据平面"]
    H["请求接入"]
    I["策略执行"]
    J["模型路由"]
    K["模型调用"]
    L["响应返回"]

    A --> B
    A --> C
    A --> D
    A --> E
    B --> F
    C --> F
    D --> F
    E --> F
    F --> G
    G --> H
    H --> I
    I --> J
    J --> K
    K --> L

    style A fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这种分离有几个重要价值:

  1. 降低请求链路复杂度:模型配置和路由规则不需要在每次请求时访问远程管理服务。
  2. 提升可用性:控制平面短暂不可用时,数据平面可以继续使用本地缓存的有效配置。
  3. 支持集中管理:多个网关实例可以共享统一模型目录和策略配置。
  4. 便于独立扩展:请求处理能力和配置管理能力可以分别扩容。

生产环境中,控制平面的配置变更通常通过配置推送、事件通知或定期拉取同步到数据平面。

需要注意,配置缓存必须具备版本、有效期和回滚机制,不能无限期使用已经失效的配置。


三、统一模型接口:屏蔽供应商差异

模型网关最基础的能力之一,是提供统一的模型调用接口。

3.1 为什么需要统一接口?

不同模型服务商的 API 可能存在以下差异:

  • 请求字段名称不同。
  • 消息角色和内容结构不同。
  • 参数范围和默认值不同。
  • 工具调用格式不同。
  • 多模态输入结构不同。
  • 错误码和错误响应不同。
  • 流式响应事件格式不同。

如果业务系统直接调用供应商 API,就必须在业务层维护这些差异。

模型网关通过内部统一数据结构,把供应商差异隔离在适配层。

3.2 定义统一请求结构

以聊天补全为例,可以抽象出一个内部请求模型:

type ModelMessage = {
  role: "system" | "user" | "assistant" | "tool";
  content: string | Array<{
    type: string;
    text?: string;
    imageUrl?: string;
  }>;
};

type ModelRequest = {
  model: string;
  messages: ModelMessage[];

  temperature?: number;
  topP?: number;
  maxTokens?: number;

  stream?: boolean;

  tools?: Array<{
    type: "function";
    function: {
      name: string;
      description?: string;
      parameters: Record<string, unknown>;
    };
  }>;

  metadata?: {
    tenantId?: string;
    userId?: string;
    requestId?: string;
  };
};

这里的 ModelRequest 是网关内部的抽象结构,不意味着所有供应商都支持其中的全部字段。

例如:

  • 有些模型不支持 temperature。
  • 有些模型使用不同名称表达最大生成 Token 数。
  • 有些模型的工具调用参数结构存在差异。
  • 多模态输入可能需要额外的媒体类型、分辨率或音频任务配置。

因此,统一接口需要配合模型能力描述和参数校验机制。

3.3 定义统一响应结构

type ModelResponse = {
  id: string;
  model: string;

  choices: Array<{
    index: number;

    message: {
      role: "assistant";
      content?: string;

      toolCalls?: Array<{
        id: string;
        name: string;
        arguments: string;
      }>;
    };

    finishReason?: string;
  }>;

  usage?: {
    promptTokens: number;
    completionTokens: number;
    totalTokens: number;
  };

  provider: string;
};

统一响应结构主要解决三个问题:

  1. 业务系统不必理解不同供应商的响应格式。
  2. 网关可以统一采集 Token 消耗和调用结果。
  3. 模型切换时,业务层尽可能不需要修改。

但统一接口不应为了追求一致性而丢弃模型特有能力。

对于供应商独有的参数,可以采用扩展字段、能力声明或专用接口保留。

3.4 统一接口与能力抽象的边界

模型能力并不是简单的输入输出格式差异。

例如:

能力 需要关注的差异
文本生成 上下文长度、生成长度、采样参数
结构化输出 JSON Schema 支持程度、约束方式
工具调用 工具定义格式、调用行为、并行调用能力
图像理解 图片格式、分辨率、输入限制
音频理解 音频输入格式、转录与感知模式
视频理解 视频帧输入、时间戳和采样方式
推理能力 推理参数、输出结构和 Token 计费方式
Embedding 向量维度、归一化方式、输入限制

因此,网关不能只维护一个模型名称和 API 地址,还需要维护模型能力信息。


四、模型注册中心:管理模型元数据

模型注册中心(Model Registry)负责维护网关能够访问的模型及其相关配置。

这里的模型注册中心主要指运行时模型目录,不一定等同于机器学习训练平台中的模型版本仓库。

4.1 模型元数据

一个模型记录通常包含:

字段 说明
modelId 网关内部唯一标识
provider 模型供应商
providerModel 供应商实际模型名称
endpoint 模型服务地址
apiType 接口协议类型
capabilities 支持的模型能力
contextWindow 最大上下文窗口
maxOutputTokens 最大输出 Token 数
inputPrice 输入 Token 单价
outputPrice 输出 Token 单价
status 模型启用状态
priority 路由优先级
timeout 请求超时时间
credentialRef 凭证配置引用

模型配置示例:

{
  "modelId": "general-chat",
  "provider": "provider-a",
  "providerModel": "model-x",
  "endpoint": "https://api.example.com/v1",
  "apiType": "openai-compatible",
  "capabilities": [
    "text-generation",
    "tool-calling",
    "streaming"
  ],
  "contextWindow": 128000,
  "maxOutputTokens": 8192,
  "status": "enabled",
  "priority": 10,
  "timeout": 60000,
  "credentialRef": "secret/model-provider-a"
}

示例中的价格、上下文窗口和模型能力只是配置结构演示,实际值必须以对应模型供应商的最新文档和部署配置为准。

4.2 逻辑模型与物理模型

模型网关需要区分逻辑模型和物理模型。

逻辑模型(Logical Model)

面向业务系统暴露的模型名称。

例如:

  • fast-chat
  • advanced-reasoning
  • vision-model
  • embedding-model

物理模型(Physical Model)

真正执行推理的模型服务实例或供应商模型。

例如:

  • 某供应商的具体模型版本。
  • 企业内部部署的某个模型集群。
  • 某云平台上的模型服务实例。
flowchart TB
    A["逻辑模型:fast-chat"]
    B["路由策略"]
    C["物理模型 A"]
    D["物理模型 B"]
    E["物理模型 C"]

    A --> B
    B --> C
    B --> D
    B --> E

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D

业务系统调用 fast-chat,网关根据策略选择实际模型。

这种设计使业务应用不必关心底层模型的供应商、部署位置和具体版本。

4.3 模型能力矩阵

仅根据模型名称进行路由是不够的。

例如,一个请求要求:

  • 支持图像输入。
  • 支持工具调用。
  • 支持至少 64K 上下文。
  • 支持流式输出。

那么网关需要先过滤出满足条件的模型。

可以建立模型能力矩阵:

模型 文本生成 图像理解 工具调用 流式输出 长上下文
Model A 是 否 是 是 是
Model B 是 是 是 是 是
Model C 是 是 否 是 否
Model D 是 是 是 否 是

能力矩阵可以用于:

  1. 请求前置校验。
  2. 模型候选集过滤。
  3. 智能路由。
  4. 模型切换兼容性判断。
  5. 模型能力变更后的影响分析。

需要特别注意:能力信息应来自供应商官方文档、实际部署配置和经过验证的测试,而不是仅凭模型名称推断。


五、模型路由:如何选择合适的模型?

模型路由(Model Routing)是模型网关的核心能力之一。

它决定一个请求最终交给哪个模型执行。

5.1 路由的输入条件

模型选择通常需要考虑多种因素:

因素 说明
任务类型 普通问答、代码生成、推理、图像理解等
模型能力 是否支持所需输入和输出能力
上下文长度 是否能够容纳当前请求
延迟要求 是否满足业务响应时间目标
成本预算 是否符合租户或请求预算
模型健康状态 服务是否可用、是否过载
供应商限制 区域、数据合规和访问权限
业务优先级 是否允许使用备用模型
用户指定 是否要求固定模型或供应商

模型路由不是简单地寻找最便宜的模型,而是在能力、质量、延迟、成本和可用性之间进行约束优化。

5.2 常见路由策略

1. 静态路由

根据模型名称或业务配置,固定选择某个模型。

例如:

fast-chat        → Model A
advanced-chat    → Model B
vision-chat      → Model C
embedding        → Model D

优点:

  • 逻辑简单。
  • 行为稳定。
  • 容易排查问题。

缺点:

  • 无法根据实时负载调整。
  • 模型故障时需要额外处理。
  • 难以动态优化成本。

适用于业务需求明确、模型选择稳定的场景。

2. 规则路由

根据请求属性匹配路由条件。

例如:

IF task = "vision"
    THEN route to vision-model

IF task = "reasoning"
    THEN route to reasoning-model

IF max_latency < 1000ms
    THEN route to low-latency-model

规则路由适合企业中具有明确业务约束的场景。

3. 成本路由

在满足能力和质量约束的候选模型中,优先选择成本较低的模型。

但成本不能只看输入 Token 价格,还需要考虑:

  • 输出 Token 价格。
  • 推理 Token 的计费方式。
  • 缓存 Token 的价格。
  • 不同模型的实际 Token 消耗。
  • 请求失败和重试产生的额外成本。

4. 延迟路由

根据模型实时延迟、负载和可用性选择服务。

常见指标包括:

  • 平均延迟。
  • P95、P99 延迟。
  • Time To First Token(TTFT)。
  • Token 生成速度。
  • 请求队列等待时间。

5. 质量路由

根据任务复杂度选择不同能力等级的模型。

例如:

  • 简单分类任务使用轻量模型。
  • 普通问答使用通用模型。
  • 复杂代码分析使用更强的模型。
  • 高风险任务使用经过专门验证的模型。

质量路由可以使用规则、分类模型或独立的路由模型,但不能仅凭一个路由模型的判断就假设结果一定最优。

5.3 路由决策流程

flowchart TB
    A["接收模型请求"]
    B["解析任务与约束"]
    C["生成候选模型集合"]
    D["能力是否满足"]
    E["上下文与参数是否兼容"]
    F["健康状态是否正常"]
    G["计算路由评分"]
    H["选择目标模型"]
    I["执行模型调用"]
    J["返回路由失败"]
    K["记录路由决策"]

    A --> B
    B --> C
    C --> D
    D -->|"是"| E
    D -->|"否"| J
    E -->|"是"| F
    E -->|"否"| J
    F -->|"是"| G
    F -->|"否"| J
    G --> H
    H --> I
    I --> K

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

这里的关键是先执行硬约束过滤,再进行评分排序。

例如,某模型不支持图像输入,即使它价格最低、延迟最低,也不能被选中处理图像请求。

5.4 多目标路由评分

对于通过硬约束过滤的候选模型,可以建立综合评分。

例如:

Score(m)= w_q Q(m)+ w_l L(m)+ w_c C(m)+ w_a A(m)

其中:

  • Q(m):模型质量评分。
  • L(m):延迟评分。
  • C(m):成本评分。
  • A(m):可用性评分。
  • w_q,w_l,w_c,w_a:各维度权重。

需要注意,延迟和成本通常越低越好,因此在评分时应转换为方向一致的归一化指标。

例如:

L(m)=1-\operatorname{NormalizeLatency}(m)
C(m)=1-\operatorname{NormalizeCost}(m)

最终选择:

m^\*=\arg\max_{m\in M} Score(m)

其中 M 是通过硬约束过滤后的候选模型集合。

这是一种抽象的评分模型,不是所有网关都必须采用的固定算法。

生产环境中还需要考虑:

  • 指标权重是否随任务变化。
  • 延迟和成本数据是否足够稳定。
  • 模型评分是否有可靠评测数据支持。
  • 是否存在某个维度的硬性上限。
  • 是否需要设置随机探索或流量实验。

尤其要避免把不同任务上的模型质量分数直接混在一起比较。代码生成、数学推理和文本分类需要不同的质量评估标准。


六、负载均衡:分配模型服务流量

模型路由解决选择哪个模型的问题,负载均衡解决请求如何分配到多个模型服务实例的问题。

当企业部署了多个相同模型实例时,网关需要将请求合理分发。

6.1 常见负载均衡策略

策略 工作方式 适用场景
轮询 按顺序分配请求 实例能力相近
加权轮询 根据实例权重分配 实例性能不同
随机选择 随机选择实例 简单分流
最少连接 选择当前连接较少的实例 长连接、流式场景
延迟感知 优先选择响应较快的实例 延迟敏感场景
负载感知 根据队列、GPU 利用率等分配 自建推理集群

对于大模型推理,简单轮询不一定能够达到理想效果。

原因在于不同请求的计算成本差异很大:

  • 输入 Prompt 长度不同。
  • 输出 Token 数量不同。
  • Prefill 和 Decode 计算特征不同。
  • 不同请求的 KV Cache 占用不同。
  • 推理实例可能正在处理大量长时间请求。

因此,负载均衡最好结合推理服务提供的实际运行指标。

6.2 加权负载均衡

假设有三个推理实例:

实例 权重
Instance A 5
Instance B 3
Instance C 2

理想情况下,流量分配比例为:

P(A)=\frac{5}{10}=50\%
P(B)=\frac{3}{10}=30\%
P(C)=\frac{2}{10}=20\%

权重可以根据 GPU 数量、实例规格、并发能力和历史处理能力设定。

但权重并不等于实际可用吞吐量。实例负载会随请求长度、缓存命中率和推理阶段变化,因此静态权重通常需要与实时健康状态结合。

6.3 模型实例路由流程

flowchart TB
    A["接收目标模型请求"]
    B["获取可用实例列表"]
    C["过滤异常实例"]
    D["读取实例负载"]
    E["计算实例优先级"]
    F["选择目标实例"]
    G["转发推理请求"]
    H["更新实例运行指标"]
    I["无可用实例"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    C -->|"无可用实例"| I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F7EAE7,stroke:#C98D7C,color:#754438

七、故障处理:重试、熔断与降级

模型服务属于外部依赖,可能出现:

  • 网络连接超时。
  • API 限流。
  • 模型服务过载。
  • 上游供应商故障。
  • 模型返回错误。
  • 请求执行时间过长。
  • 流式连接中断。

如果没有统一故障处理机制,一个模型服务的异常可能影响整个 AI 应用。

7.1 超时控制

模型请求通常涉及多个时间阶段:

  1. 网关处理时间。
  2. 网络连接时间。
  3. 模型排队时间。
  4. Prefill 计算时间。
  5. Decode 生成时间。

因此,不能只设置一个过短的 HTTP 超时时间。

可以区分:

  • 连接超时。
  • 首 Token 超时。
  • 整体请求超时。
  • 空闲流超时。
  • 下游客户端写入超时。

不同任务应使用不同超时预算。

例如,短文本分类任务与长文本生成任务不应使用完全相同的整体超时策略。

7.2 重试机制

重试适用于具有临时性、可恢复特征的错误。

例如:

  • 网络连接暂时失败。
  • 上游返回可重试的服务错误。
  • 明确表示可以稍后重试的限流响应。

但以下情况不适合盲目重试:

  • 请求参数错误。
  • 模型不支持指定能力。
  • 权限不足。
  • 余额或配额不足。
  • 已经开始输出内容的流式请求。

重试还需要注意几个问题:

第一,控制重试次数。

无限重试会放大上游故障。

第二,采用指数退避。

例如:

Delay_n=\min(Delay_{\max},Delay_0\times 2^n)

可以叠加随机抖动,避免大量请求同时重试。

第三,遵守重试预算。

如果一次请求的总超时时间只剩 200ms,就不应该再发起一个预计需要数秒的重试。

第四,区分请求是否已经产生副作用。

对于普通模型推理,重复请求通常意味着额外成本;对于带有工具调用或外部副作用的任务,重复执行可能造成实际业务问题。

7.3 熔断机制

熔断器(Circuit Breaker)用于防止持续调用异常服务。

常见状态包括:

  • Closed:正常调用。
  • Open:停止向故障服务发送请求。
  • Half-Open:允许少量探测请求,判断服务是否恢复。
stateDiagram-v2
    [*] --> Closed

    Closed --> Open: 连续失败达到阈值
    Open --> HalfOpen: 熔断等待时间结束
    HalfOpen --> Closed: 探测请求成功
    HalfOpen --> Open: 探测请求失败

    style Closed fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style Open fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style HalfOpen fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

熔断器应按合理的故障隔离维度配置,例如供应商、模型或推理集群。

如果多个完全独立的模型服务共享一个熔断状态,某个模型故障可能错误地影响其他正常模型。

7.4 降级与模型切换

当首选模型不可用时,网关可以尝试切换备用模型。

例如:

flowchart TB
    A["请求首选模型"]
    B["首选模型调用成功"]
    C["首选模型调用失败"]
    D["判断错误是否可切换"]
    E["选择备用模型"]
    F["备用模型调用"]
    G["返回模型结果"]
    H["返回受控错误"]
    I["记录降级事件"]

    A --> B
    A --> C
    B --> G
    C --> D
    D -->|"允许切换"| E
    D -->|"不允许切换"| H
    E --> F
    F -->|"成功"| G
    F -->|"失败"| H
    G --> I
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style C fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D

模型降级需要考虑兼容性:

  1. 备用模型是否支持相同输入类型?
  2. 是否支持相同工具调用格式?
  3. 是否具备足够上下文长度?
  4. 是否支持要求的结构化输出?
  5. 生成质量是否满足业务最低要求?
  6. 是否符合数据区域和隐私要求?

重要:不能把所有失败都当成可以切换模型的错误。

例如,鉴权失败、参数错误和用户配额不足,通常不应该通过切换模型来绕过。

另外,流式响应一旦已经向客户端输出部分内容,就不能简单地切换模型并重新生成一份完整答案,否则可能出现重复内容、语义断裂或协议错误。


八、Token 计量与成本管理

模型网关与普通 API 网关的一个重要区别,是需要理解模型调用成本。

模型调用成本通常与输入 Token、输出 Token、缓存 Token、推理 Token 和模型类型有关。

8.1 Token 用量统计

一次模型请求可能产生:

  • Prompt Tokens:输入 Token 数量。
  • Completion Tokens:输出 Token 数量。
  • Cached Tokens:缓存输入 Token 数量。
  • Reasoning Tokens:部分模型单独统计的推理 Token。
  • Total Tokens:总 Token 数量。

不同供应商对 Token 分类和计费规则可能不同。

因此,网关应该保留供应商原始 usage 信息,并将其转换为内部统一计量结构。

8.2 成本计算

一个简化的成本计算模型:

Cost = \frac{InputTokens}{10^6}\times InputPrice + \frac{OutputTokens}{10^6}\times OutputPrice

其中:

  • InputTokens:输入 Token 数量。
  • OutputTokens:输出 Token 数量。
  • InputPrice:每百万输入 Token 价格。
  • OutputPrice:每百万输出 Token 价格。

如果供应商对缓存 Token、推理 Token 或不同输入类型采用单独计价,还需要扩展计算公式。

例如:

\begin{aligned} Cost ={}& \frac{T_i \times P_i}{10^6} +\frac{T_o \times P_o}{10^6}\\ &+\frac{T_c \times P_c}{10^6} +\frac{T_r \times P_r}{10^6} \end{aligned}

其中 T_c 和 T_r 分别表示缓存 Token 和独立计价的推理 Token。

实际计费应以供应商的计费定义为准,不能简单地把所有 Token 都按普通输入或输出价格计算。

8.3 多租户配额

企业通常需要按租户、用户、应用或业务线管理调用额度。

常见配额包括:

配额类型 说明
RPM 每分钟请求数
TPM 每分钟 Token 数
Daily Quota 每日调用额度
Monthly Budget 月度预算
Concurrent Requests 最大并发请求数
Max Input Tokens 单次最大输入 Token
Max Output Tokens 单次最大输出 Token

需要注意,RPM 和 TPM 是不同维度的约束。

一个请求可能只消耗 1 次调用,但输入和输出 Token 数量非常大。

因此,只按请求数限流无法有效控制模型成本。

8.4 预算控制流程

flowchart TB
    A["接收租户请求"]
    B["识别租户与应用"]
    C["读取配额与预算"]
    D["检查 RPM、TPM 与并发"]
    E["估算本次请求成本"]
    F["预算是否允许"]
    G["执行模型调用"]
    H["结算实际用量"]
    I["更新预算与计量记录"]
    J["拒绝请求"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F -->|"允许"| G
    F -->|"拒绝"| J
    G --> H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#F7EAE7,stroke:#C98D7C,color:#754438

成本管理中有一个容易忽略的问题:请求执行前只能估算成本,实际输出 Token 数量通常要等模型完成后才能确定。

因此,生产系统需要结合:

  1. 请求前预算预留。
  2. 最大输出 Token 限制。
  3. 请求执行中的用量监控。
  4. 请求完成后的实际费用结算。
  5. 失败请求和部分输出的计费处理。

对于并发预算,不能只采用“先读取余额、再执行请求”的简单逻辑,否则多个并发请求可能同时通过检查,导致总支出超过预算。

更可靠的方式是通过原子额度预留、事务或集中式配额服务管理预算。


九、流式响应:处理持续生成的模型输出

大模型通常需要一定时间才能完成回答。

如果网关必须等待模型生成完整结果后再返回,用户需要等待较长时间才能看到内容。

流式响应(Streaming)允许模型逐步返回生成结果。

9.1 非流式与流式响应

非流式响应:

sequenceDiagram
    participant App as 业务应用
    participant Gateway as 模型网关
    participant Model as 模型服务

    App->>Gateway: 发送完整请求
    Gateway->>Model: 转发请求
    Model-->>Gateway: 返回完整结果
    Gateway-->>App: 返回完整响应

流式响应:

sequenceDiagram
    participant App as 业务应用
    participant Gateway as 模型网关
    participant Model as 模型服务

    App->>Gateway: 发送流式请求
    Gateway->>Model: 转发流式请求
    Model-->>Gateway: 第一个数据块
    Gateway-->>App: 转发数据块
    Model-->>Gateway: 后续数据块
    Gateway-->>App: 持续转发
    Model-->>Gateway: 完成事件
    Gateway-->>App: 发送结束事件

9.2 网关需要处理的问题

流式响应不仅是简单地转发 SSE 数据,还需要考虑:

  • 上游流连接管理。
  • 下游客户端断开。
  • 数据块缓冲。
  • 心跳与空闲超时。
  • 流式事件格式转换。
  • Token 用量统计。
  • 流式错误传递。
  • 资源释放。

尤其要避免网关层的响应缓冲导致流式数据被积累到一定大小后才发送。

否则,即使模型上游是流式输出,用户也可能无法及时看到内容。

9.3 流式响应中的故障边界

流式请求与普通请求的失败处理存在明显差异。

如果模型在返回第一个 Token 之前失败,网关通常还有机会选择备用模型。

如果模型已经返回了部分内容: