一、为什么需要高并发 AI 服务架构?
随着大模型应用从个人对话工具走向企业级应用,AI 服务需要同时面对大量用户、复杂请求和持续变化的计算负载。
传统 Web 服务通常以 CPU、数据库和网络 I/O 为主要资源,而大模型推理服务还需要管理 GPU、模型权重、KV Cache、Token 生成和动态批处理等特殊资源。
例如,一个 AI 对话服务可能同时面对:
- 大量用户同时发送请求。
- 不同长度的 Prompt 和生成任务。
- 不同模型、不同版本的调用需求。
- 长时间运行的流式响应。
- 突发流量和周期性流量高峰。
- GPU 显存不足、推理超时和实例故障。
- 多租户之间的资源隔离与成本控制。
如果所有请求都直接进入单个模型实例,系统很容易出现排队、显存耗尽、响应变慢甚至服务不可用。
因此,高并发 AI 服务需要在模型推理之外建立完整的服务治理体系。
1.1 高并发 AI 服务的核心目标
| 目标 | 说明 | 关键指标 |
|---|---|---|
| 高吞吐 | 单位时间处理更多请求和 Token | RPS、Output TPS |
| 低延迟 | 尽快返回首 Token 和完整结果 | TTFT、TPOT、E2E |
| 高可用 | 单个实例或节点故障不影响整体服务 | Availability、Error Rate |
| 可扩展 | 根据流量动态增加或减少计算资源 | 扩缩容时间、资源利用率 |
| 高资源利用率 | 减少 GPU 空闲和显存浪费 | GPU Utilization、KV Cache Usage |
| 可控成本 | 降低单位请求和 Token 的推理成本 | Cost per Request、Cost per Token |
| 多租户隔离 | 避免单个租户影响其他租户 | 配额、限流、资源隔离 |
1.2 高并发 AI 服务面临的特殊挑战
第一,GPU 资源昂贵且容量有限。
模型权重需要占用大量显存,推理过程还需要动态分配 KV Cache。GPU 不仅受到计算能力限制,也受到显存容量和内存带宽限制。
第二,请求之间存在明显差异。
不同请求的输入长度、输出长度和生成时间差异很大。简单使用固定批处理容易造成资源浪费。
第三,流式响应会长期占用连接。
一个请求可能持续生成几十秒甚至几分钟。服务端需要维护连接状态、发送心跳、处理取消和断开重连等情况。
第四,推理负载具有动态变化特征。
突发流量可能在短时间内让 GPU 集群达到容量上限。仅依靠固定数量的模型实例难以适应所有负载。
第五,模型调用链路更加复杂。
一个 AI 请求可能经过模型网关、Prompt 处理、RAG 检索、模型推理、工具调用和结果后处理,任意环节都可能成为瓶颈。
二、高并发 AI 服务的整体架构
生产级 AI 服务通常采用分层架构,将流量接入、请求治理、模型调度、推理执行和基础设施管理分离。
2.1 整体架构
flowchart TB
A["客户端与业务应用"] --> B["DNS / CDN / WAF"]
B --> C["API Gateway"]
C --> D["身份认证与配额管理"]
D --> E["模型网关 Model Gateway"]
E --> F["请求调度与负载均衡"]
F --> G["AI 服务编排层"]
G --> H["RAG / 工具调用 / Prompt 处理"]
G --> I["推理服务集群"]
I --> J["GPU 推理实例"]
J --> K["模型权重与 KV Cache"]
E --> L["缓存服务"]
G --> M["消息队列与异步任务"]
I --> N["监控与日志"]
E --> N
G --> N
O["配置中心与服务发现"] --> E
O --> F
O --> I
P["自动扩缩容控制器"] --> I
P --> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style O fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style P fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
2.2 核心架构层次
| 层次 | 核心组件 | 主要职责 |
|---|---|---|
| 接入层 | CDN、WAF、API Gateway | 流量接入、安全防护、协议转换 |
| 身份与治理层 | Auth、Quota、Rate Limiter | 身份验证、配额管理、限流 |
| 模型网关层 | Model Gateway | 模型路由、版本选择、统一接口 |
| 调度层 | Scheduler、Load Balancer | 请求排队、实例选择、动态调度 |
| 应用编排层 | RAG、Agent、Workflow | 检索、工具调用、多步骤任务 |
| 推理层 | Inference Engine | Prefill、Decode、批处理 |
| 资源层 | GPU、KV Cache、模型存储 | 提供计算、显存和模型资源 |
| 治理运维层 | Metrics、Logs、Tracing | 监控、告警、链路追踪 |
| 控制层 | Service Discovery、Autoscaling | 服务发现、配置管理、弹性扩缩容 |
架构设计的关键是职责分离。
例如,API Gateway 不应该直接负责 GPU 调度;模型网关不应该承担复杂的模型前向计算;推理引擎也不应该负责用户身份认证和账单管理。
三、请求接入层:承接高并发流量
请求接入层是所有 AI 请求进入系统的第一道关口。
它需要处理大量并发连接,并在请求到达推理集群之前完成基础治理。
3.1 API Gateway
API Gateway 是统一的 API 接入入口。
主要职责:
- 接收 HTTP、HTTPS 或 WebSocket 请求。
- 进行身份认证和权限校验。
- 验证请求格式。
- 执行限流和配额控制。
- 处理请求超时。
- 注入 Trace ID 和请求上下文。
- 路由到后端模型服务。
- 统一处理错误响应。
常见实现:
- NGINX。
- Envoy。
- Kong。
- APISIX。
- 云厂商 API Gateway。
对于大模型服务,API Gateway 还需要特别考虑流式响应。
普通 HTTP 请求通常可以在服务端完成处理后一次性返回,而流式请求需要持续向客户端发送数据。
因此,网关需要正确处理:
- SSE(Server-Sent Events)。
- HTTP Chunked Transfer Encoding。
- WebSocket。
- 长连接超时。
- 代理缓冲。
- 客户端断开连接。
- 心跳与连接保活。
如果网关开启了不合适的响应缓冲,模型虽然已经生成 Token,客户端却可能迟迟收不到内容。
3.2 请求协议设计
高并发 AI 服务通常需要支持多种交互模式。
| 模式 | 适用场景 | 特点 |
|---|---|---|
| 普通 HTTP | 分类、Embedding、短文本生成 | 请求完成后一次性返回 |
| SSE | 对话、流式生成 | 服务端持续推送事件 |
| WebSocket | 实时语音、双向交互 | 双向通信 |
| gRPC | 内部服务调用 | 高效的 RPC 通信 |
| 异步任务 API | 长时间任务、批量推理 | 提交任务后通过任务 ID 查询结果 |
对于普通文本对话,SSE 通常已经足够;对于需要持续传输音频、视频或双向控制的场景,WebSocket 更合适。
3.3 请求 ID 与幂等性
高并发环境中,请求可能因为网络超时、客户端重试或服务故障而重复提交。
如果请求具有副作用,例如 Agent 执行工具调用、写入数据库或创建任务,重复执行可能产生错误。
因此需要设计:
- Request ID:唯一标识请求。
- Idempotency Key:标识同一个业务操作。
- Trace ID:关联完整调用链路。
- Retry Count:记录重试次数。
- Deadline:记录请求截止时间。
对于纯文本生成,重复请求通常只是增加推理成本;对于有副作用的 Agent 操作,则必须通过幂等机制控制重复执行。
四、模型网关:统一模型访问与路由
模型网关(Model Gateway)是高并发 AI 架构中的核心组件。
它将不同模型、不同推理实例和不同供应商的接口统一起来,为上层应用提供一致的调用方式。
4.1 为什么需要模型网关?
假设一个 AI 平台同时部署:
- 通用对话模型。
- 代码生成模型。
- Embedding 模型。
- Reranker 模型。
- 多模态模型。
- 第三方云端模型。
如果每个业务应用都直接调用不同模型,就会产生大量重复代码和管理成本。
模型网关可以统一处理:
- 模型名称与版本管理。
- 请求参数转换。
- 模型路由。
- 实例选择。
- 超时和重试。
- 限流和配额。
- 访问控制。
- 用量统计。
- 统一错误处理。
4.2 模型路由策略
模型网关可以根据不同条件选择目标模型。
| 路由策略 | 依据 | 适用场景 |
|---|---|---|
| 固定路由 | 指定模型名称 | 稳定业务 |
| 能力路由 | 任务类型、模型能力 | 分类、代码、视觉 |
| 成本路由 | Token 价格和预算 | 成本敏感业务 |
| 延迟路由 | 预计响应时间 | 实时交互 |
| 负载路由 | GPU 负载、队列长度 | 高并发推理 |
| 灰度路由 | 用户、流量比例 | 模型版本升级 |
| 故障转移 | 健康状态 | 高可用服务 |
例如:
- 简单分类请求路由到小模型。
- 复杂推理请求路由到大模型。
- 高优先级请求路由到低延迟实例。
- 实例过载时切换到其他可用实例。
4.3 模型路由流程
flowchart TD
A["接收模型请求"] --> B["解析模型名称与任务类型"]
B --> C["检查租户权限与配额"]
C --> D["获取模型候选列表"]
D --> E["检查模型健康状态"]
E --> F["计算路由评分"]
F --> G{"是否存在可用实例"}
G -->|"是"| H["选择目标推理实例"]
G -->|"否"| I["检查降级或备用模型"]
I --> J{"是否允许降级"}
J -->|"是"| K["选择备用模型"]
J -->|"否"| L["返回服务不可用"]
H --> M["转发请求"]
K --> M
M --> N["记录调用结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
4.4 路由评分设计
可以为每个推理实例计算一个综合评分:
其中:
- L_i:预计延迟。
- Q_i:等待队列长度。
- C_i:资源占用率。
- E_i:错误率或健康风险。
- w_1,w_2,w_3,w_4:权重系数。
选择评分最低的健康实例。
实际系统中,指标需要进行归一化,并考虑模型能力、GPU 类型、KV Cache 剩余容量和请求长度。
不能只依据 CPU 或 GPU 利用率选择实例,因为 GPU 利用率高并不一定代表实例已经无法承接新请求。
五、负载均衡与推理实例调度
负载均衡负责将请求合理分配到不同推理实例。
但 AI 服务的负载均衡与普通 Web 服务存在明显区别。
普通 Web 服务可以主要根据连接数、CPU 负载和响应时间进行分配。
大模型推理还需要考虑:
- 模型是否已经加载。
- GPU 显存是否充足。
- KV Cache 剩余容量。
- 当前 Decode 批次大小。
- 等待队列长度。
- Prompt 长度。
- 预计输出长度。
- Prefill 与 Decode 的资源竞争。
5.1 常见负载均衡策略
轮询(Round Robin)
按照顺序将请求分配到不同实例。
优点:实现简单,分配较均匀。
缺点:不能感知 GPU 负载和请求复杂度。
加权轮询(Weighted Round Robin)
根据实例权重分配请求。
适合不同 GPU 型号或不同规格实例组成的集群。
最少连接(Least Connections)
将请求发送到当前连接数较少的实例。
对于普通短请求比较有效,但长时间流式请求可能造成连接数与真实 GPU 工作量不一致。
最少请求(Least Requests)
选择当前处理请求数量较少的实例。
比轮询更能适应请求时长差异,但仍然无法充分反映 Token 计算量和 KV Cache 压力。
最短队列(Shortest Queue)
优先选择等待队列较短的实例。
适合存在明显请求排队的推理服务。
负载感知路由(Load-aware Routing)
综合考虑 GPU 利用率、KV Cache 使用率、等待 Token 数、实例健康状态等指标。
通常更适合生产级大模型推理服务。
5.2 AI 推理服务的负载均衡
flowchart TD
A["模型网关接收请求"] --> B["获取推理实例列表"]
B --> C["检查实例健康状态"]
C --> D["采集实例运行指标"]
D --> E["计算实例负载评分"]
E --> F["过滤不满足资源要求的实例"]
F --> G{"是否存在可用实例"}
G -->|"是"| H["选择最合适的实例"]
G -->|"否"| I["进入等待队列"]
H --> J["转发推理请求"]
I --> K{"是否超过排队期限"}
K -->|"否"| B
K -->|"是"| L["返回过载错误或降级"]
J --> M["监控请求执行状态"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
5.3 为什么不能只看 GPU 利用率?
假设两个推理实例:
| 指标 | 实例 A | 实例 B |
|---|---|---|
| GPU 利用率 | 80% | 50% |
| KV Cache 使用率 | 95% | 60% |
| 等待请求数 | 10 | 5 |
| 平均 TTFT | 2s | 500ms |
如果只看 GPU 利用率,可能会选择实例 B,但真正的调度还需要判断:
- 实例 B 是否加载了目标模型。
- 是否有足够 KV Cache 空间。
- 当前请求是否与已有请求兼容。
- 是否需要跨节点传输 KV Cache。
- 请求的优先级和截止时间。
因此,AI 推理负载均衡应使用多维度状态,而不是单一硬件指标。
六、推理引擎:高并发的核心执行层
推理引擎负责真正执行模型计算,是 AI 服务最重要的计算组件。
常见推理框架包括:
- vLLM。
- SGLang。
- TensorRT-LLM。
- Hugging Face TGI。
- llama.cpp。
它们在调度策略、KV Cache 管理、模型兼容性、量化和分布式执行方面各有特点。
6.1 推理引擎的核心职责
- 加载模型权重。
- 管理 GPU 显存。
- 执行 Prefill 和 Decode。
- 管理 KV Cache。
- 调度并发请求。
- 执行动态批处理。
- 支持流式 Token 输出。
- 管理请求取消和超时。
- 处理推理异常。
- 提供性能指标。
6.2 Continuous Batching
传统静态批处理需要等待整个批次中的请求结束。
Continuous Batching 则允许每轮 Decode 完成后重新调度请求。
这样可以在某个请求结束时立即释放对应的执行位置,并让等待中的请求进入批次。
主要收益:
- 减少 GPU 空闲。
- 提升 Token 吞吐量。
- 支持不同长度的请求。
- 提高并发处理能力。
但调度器仍需要处理长短请求混合、KV Cache 容量和 Prefill 竞争问题。
6.3 PagedAttention 与 KV Cache
KV Cache 保存历史 Token 的 Key 和 Value,避免 Decode 阶段重复计算全部上下文。
PagedAttention 使用分块管理方式,将 KV Cache 分配到不同显存 Block 中。
其主要价值:
- 减少显存碎片。
- 支持动态分配和释放。
- 提高 KV Cache 利用率。
- 支持更多并发请求。
Continuous Batching 和 PagedAttention 是互补技术:
- Continuous Batching 解决请求调度问题。
- PagedAttention 解决 KV Cache 内存管理问题。
6.4 Prefill 与 Decode 分离
Prefill 和 Decode 对 GPU 资源的需求不同。
Prefill 需要处理较长的输入序列,通常具有较高的计算并行度。
Decode 需要持续生成 Token,通常更关注内存带宽和 KV Cache 访问效率。
在高并发场景中,可以将两个阶段部署到独立集群:
- Prefill Worker:负责 Prompt 计算。
- Decode Worker:负责持续生成。
- KV Transfer:负责传递上下文状态。
- Scheduler:协调请求执行。
这样可以独立扩展两类资源,但需要考虑 KV Cache 跨节点传输的带宽、延迟和额外显存开销。
七、请求队列与背压机制
高并发服务不能无限制接收请求。
当请求到达速度持续高于系统处理速度时,等待队列会不断增长,最终导致延迟失控和资源耗尽。
因此,需要设计队列管理与背压机制。
7.1 请求队列的作用
请求队列用于暂存尚未获得推理资源的请求。
主要职责:
- 缓冲突发流量。
- 平滑请求到达速率。
- 按优先级调度请求。
- 控制并发数量。
- 管理超时和取消。
- 记录排队时间。
对于在线交互请求,队列不能无限增长。
通常需要同时设置:
- 最大队列长度。
- 最大排队时间。
- 最大在途请求数。
- 单租户队列配额。
- 请求截止时间。
7.2 队列调度策略
| 策略 | 说明 | 适用场景 |
|---|---|---|
| FIFO | 先进先出 | 普通交互请求 |
| Priority Queue | 按优先级处理 | 多租户和付费等级 |
| Weighted Fair Queueing | 按租户权重分配资源 | 多租户平台 |
| Deadline-aware | 根据请求截止时间调度 | 实时任务 |
| Token-aware | 根据输入和输出 Token 预算调度 | 大模型推理 |
| Length-aware | 根据请求长度进行调度 | 长短请求混合 |
不能简单地将所有长请求放到队尾。
如果长请求一直被短请求抢占,可能产生饥饿问题。
因此需要在延迟、吞吐量和公平性之间进行平衡。
7.3 背压 Backpressure
背压是指下游处理能力不足时,将压力反馈给上游,限制新请求进入。
例如:
- GPU 队列已达到上限。
- KV Cache 空间不足。
- 推理实例健康状态异常。
- 下游模型服务响应速度下降。
此时系统可以:
- 暂停接收部分请求。
- 返回 429 或 503。
- 延迟处理低优先级请求。
- 将请求放入有界队列。
- 将任务转移到异步队列。
- 启用备用模型或降级策略。
7.4 队列与背压处理流程
flowchart TD
A["接收推理请求"] --> B["检查请求是否合法"]
B --> C["检查并发与队列容量"]
C --> D{"是否有可用容量"}
D -->|"是"| E["进入调度队列"]
D -->|"否"| F["执行背压策略"]
F --> G{"是否允许等待"}
G -->|"是"| H["进入有界等待队列"]
G -->|"否"| I["返回 429 或 503"]
H --> J{"是否超过排队期限"}
J -->|"否"| K["等待推理资源"]
J -->|"是"| L["返回排队超时"]
K --> E
E --> M["分配推理实例"]
M --> N["执行模型推理"]
N --> O["返回结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
style M fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F
八、缓存架构:减少重复计算
缓存是提升高并发 AI 服务性能的重要手段。
但 AI 系统中存在多种缓存,它们的存储内容、生命周期和命中条件并不相同。
8.1 缓存类型
| 缓存类型 | 缓存内容 | 主要收益 |
|---|---|---|
| Response Cache | 完整请求结果 | 避免重复推理 |
| Prompt Cache | Prompt 前缀相关计算状态 | 减少重复 Prefill |
| KV Cache | 历史 Token 的 Key、Value | 避免重复计算上下文 |
| Embedding Cache | 文本向量 | 减少重复 Embedding |
| Retrieval Cache | 检索结果 | 减少重复向量检索 |
| Model Cache | 模型权重和文件 | 减少模型加载时间 |
| Tokenization Cache | Tokenization 结果 | 减少重复分词 |
8.2 Response Cache
Response Cache 缓存完整请求的响应结果。
例如:
相同用户问题在短时间内重复提交,可以直接返回之前的结果。
适合:
- 固定 FAQ。
- 静态知识查询。
- 相同参数的分类任务。
- 确定性较强的结构化请求。
不适合直接缓存:
- 强依赖实时信息的请求。
- 用户权限不同的请求。
- 随机性较强的生成请求。
- 需要执行副作用的 Agent 请求。
缓存 Key 不能只由用户文本组成,还需要考虑:
- 模型名称与版本。
- Prompt 模板版本。
- Sampling 参数。
- 用户权限或租户范围。
- 检索数据版本。
- 工具配置。
- 输出格式要求。
否则可能出现跨租户数据泄漏或返回过期结果。
8.3 Prefix Caching
Prefix Caching 主要用于大模型推理中的前缀复用。
例如,多个请求使用相同的系统提示词:
你是一个专业的技术助手。
请遵循以下回答规范……
这些共享前缀可以在满足缓存条件时复用 KV Cache,减少重复 Prefill。
需要注意:
- 前缀必须满足推理引擎的匹配规则。
- 模型版本和相关配置必须兼容。
- 缓存可能因为显存压力被淘汰。
- Prefix Cache 不等于完整响应缓存。
- 缓存命中不代表整个请求都不需要计算。
8.4 多级缓存架构
flowchart TD
A["收到 AI 请求"] --> B["查询 L1 本地缓存"]
B --> C{"是否命中"}
C -->|"是"| D["返回本地缓存结果"]
C -->|"否"| E["查询 L2 分布式缓存"]
E --> F{"是否命中"}
F -->|"是"| G["返回分布式缓存结果"]
F -->|"否"| H["执行 RAG 或模型推理"]
H --> I["写入缓存"]
I --> J["返回结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
九、限流与配额:保护昂贵的 GPU 资源
高并发 AI 服务的资源成本通常比较高,不能只依靠后端 GPU 自己承受所有流量。
需要在入口和模型调度层实施多维度限流。
9.1 常见限流维度
| 限流维度 | 说明 |
|---|---|
| IP 限流 | 限制单个来源 IP 的请求频率 |
| 用户限流 | 限制单个用户的调用量 |
| 租户限流 | 控制企业或组织的总资源使用 |
| API Key 限流 | 限制某个访问密钥的调用频率 |
| 模型限流 | 限制特定模型的并发请求 |
| Token 限流 | 限制输入和输出 Token 使用量 |
| GPU 配额 | 控制租户可占用的推理资源 |
| 并发限流 | 限制同时执行的请求数量 |
对于大模型服务,仅使用 QPS 限流通常不够。
因为两个请求可能有完全不同的计算成本:
- 请求 A:输入 100 Token,输出 50 Token。
- 请求 B:输入 10000 Token,输出 4000 Token。
如果只按照请求数量计费或限流,就无法准确控制计算资源消耗。
因此可以引入 Token Budget,根据输入 Token 预算、输出 Token 预算和模型成本进行资源控制。
9.2 常见限流算法
固定窗口(Fixed Window)
将时间划分为固定窗口,每个窗口最多允许一定数量的请求。
优点:实现简单。
缺点:窗口边界可能出现突发流量。
滑动窗口(Sliding Window)
统计最近一段时间内的请求数量。
优点:限制更加平滑。
缺点:需要维护更多时间窗口状态。
令牌桶(Token Bucket)
系统以固定速率向桶中补充令牌,每个请求消耗一定数量令牌。
优点:
- 支持突发流量。
- 能控制长期平均速率。
- 可以为不同请求设置不同成本。
漏桶(Leaky Bucket)
请求以相对稳定的速率从队列中流出。
优点:输出流量平稳。
缺点:突发请求可能需要等待,队列必须设置容量上限。
9.3 令牌桶算法
假设:
- 桶容量为 100 个令牌。
- 每秒补充 20 个令牌。
- 普通请求消耗 1 个令牌。
- 大模型长请求按照预算消耗更多令牌。
请求到达时:
- 令牌充足:允许请求进入。
- 令牌不足:等待补充或拒绝请求。
对于 Token 限流,可以让请求的令牌消耗与预计 Token 数量相关。
需要注意,输出长度往往无法在请求开始前准确预测,可以通过最大输出 Token 预算、动态扣费和结束后的实际用量结算实现。
9.4 多租户配额设计
企业级 AI 平台通常需要为不同租户配置不同资源等级。
| 租户等级 | 并发限制 | 请求速率 | Token 配额 |
|---|---|---|---|
| Free | 2 | 5 RPS | 低 |
| Basic | 10 | 20 RPS | 中 |
| Pro | 50 | 100 RPS | 高 |
| Enterprise | 按合同配置 | 按合同配置 | 按合同配置 |
以上仅为示例,实际数值需要通过 GPU 容量规划和业务需求确定。
配额系统还应支持:
- 日配额和月配额。
- 突发额度。
- 不同模型独立配额。
- 超额计费。
- 租户级并发隔离。
- 配额实时调整。
十、弹性扩缩容:让计算资源随负载变化
大模型推理集群通常由昂贵的 GPU 实例组成。
如果始终按照最高峰值部署,会产生较高的闲置成本;如果只按照平均负载部署,又可能在流量高峰时无法及时处理请求。
因此,需要设计弹性扩缩容机制。
10.1 水平扩展与垂直扩展
水平扩展(Scale Out)
增加更多推理实例。
例如:
- 从 4 个 GPU Worker 扩展到 8 个。
- 从 8 个扩展到 16 个。
优点:
- 可以提升集群整体处理能力。
- 能够分散请求压力。
- 支持实例级故障隔离。
缺点:
- 需要加载模型权重。
- 需要额外 GPU 资源。
- 可能增加模型同步和调度成本。
垂直扩展(Scale Up)
提高单个实例的计算资源。
例如:
- 使用更大显存的 GPU。
- 使用更多 GPU 进行模型并行。
- 提高单机 CPU 和内存配置。
优点:适合无法轻易拆分的模型。
缺点:受单机硬件规格限制,资源成本较高。
10.2 AI 服务扩缩容不能只看 CPU
普通 Web 服务经常根据 CPU 利用率进行自动扩缩容。
但 AI 推理服务的瓶颈可能出现在:
- GPU 计算利用率。
- GPU 显存占用。
- KV Cache 使用率。
- 等待队列长度。
- 请求排队时间。
- TTFT。
- Token 吞吐量。
- 单实例在途请求数。
因此,建议使用多指标联合扩缩容。
10.3 扩缩容指标
| 指标 | 扩容信号 | 缩容信号 |
|---|---|---|
| GPU 利用率 | 长时间超过阈值 | 长时间处于低位 |
| KV Cache 使用率 | 接近容量上限 | 持续低占用 |
| 等待队列长度 | 持续增长 | 长时间为空或较低 |
| P95 TTFT | 持续超过目标 | 稳定低于目标 |
| Output TPS | 单实例接近能力上限 | 资源长期闲置 |
| 活跃请求数 | 超过安全并发 | 长时间低于目标 |
10.4 自动扩缩容流程
flowchart TD
A["定时采集集群指标"] --> B["计算当前推理负载"]
B --> C["分析 GPU 与 KV Cache 使用率"]
C --> D["分析队列长度与 TTFT"]
D --> E{"是否超过扩容阈值"}
E -->|"是"| F["计算目标实例数量"]
F --> G["申请 GPU 资源"]
G --> H["启动推理实例"]
H --> I["加载模型并完成预热"]
I --> J["健康检查通过"]
J --> K["加入服务发现与负载均衡"]
E -->|"否"| L{"是否满足缩容条件"}
L -->|"否"| A
L -->|"是"| M["选择低负载实例"]
M --> N["停止接收新请求"]
N --> O["等待在途请求完成"]
O --> P["释放 GPU 实例"]
P --> A
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style O fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style P fill:#DCEFE5,stroke:#4F8B70,color:#24563F
10.5 模型加载与扩容冷启动
大模型实例扩容并不意味着立即具备服务能力。
新实例通常还需要:
- 申请 GPU 资源。
- 下载或挂载模型权重。
- 加载模型参数。
- 初始化 CUDA 和推理 Kernel。
- 分配 KV Cache。
- 执行模型预热。
- 通过健康检查。
- 加入服务发现。
如果模型权重较大,冷启动可能需要较长时间。
因此可以采用:
- 预热实例池。
- 模型权重本地缓存。
- 分层模型存储。
- 提前扩容。
- 基于历史流量的预测扩容。
- 热模型优先保留。
对于 GPU 成本较高的业务,还需要在预留实例数量和冷启动风险之间取得平衡。
十一、异步任务架构:处理长时间运行的 AI 任务
不是所有 AI 请求都适合使用同步 HTTP 调用。
例如:
- 长文档解析。
- 批量数据标注。
- 长周期 Agent。
- 大规模 Embedding。
- 多步骤报告生成。
- 大量图片或视频处理。
这些任务可能运行数十秒、数分钟甚至更久。
如果一直占用客户端 HTTP 连接,容易受到网关超时、连接中断和客户端重试的影响。
11.1 同步与异步调用的区别
| 维度 | 同步调用 | 异步任务 |
|---|---|---|
| 请求方式 | 发起后等待结果 | 提交任务后立即返回 |
| 连接占用 | 可能持续较长时间 | 提交后释放连接 |
| 任务状态 | 通常通过连接体现 | 通过任务状态查询 |
| 适用场景 | 短文本生成、即时问答 | 长文档、批处理、Agent |
| 错误恢复 | 依赖请求重试 | 可以通过任务状态和队列恢复 |
| 任务管理 | 相对简单 | 需要持久化状态和任务调度 |
11.2 异步任务架构
核心组件:
- Task API:接收任务。
- Task Store:保存任务状态。
- Message Queue:传递待执行任务。
- Worker:执行 AI 任务。
- Result Store:保存结果。
- Callback 或 Polling:通知或查询结果。
flowchart TD
A["客户端提交 AI 任务"] --> B["Task API 校验请求"]
B --> C["生成 Task ID"]
C --> D["保存任务状态"]
D --> E["发送消息到任务队列"]
E --> F["Worker 获取任务"]
F --> G["执行 RAG / Agent / 推理"]
G --> H{"任务是否成功"}
H -->|"是"| I["保存任务结果"]
H -->|"否"| J{"是否允许重试"}
J -->|"是"| K["进入重试队列"]
J -->|"否"| L["标记任务失败"]
K --> F
I --> M["更新任务为完成"]
L --> N["记录失败原因"]
M --> O["客户端查询或接收通知"]
N --> O
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style N fill:#F7EAE7,stroke:#C98D7C,color:#754438
style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F
11.3 任务状态设计
异步 AI 任务通常需要定义清晰的状态机。
| 状态 | 含义 |
|---|---|
| PENDING | 任务已经创建,等待调度 |
| QUEUED | 任务已经进入队列 |
| RUNNING | Worker 正在执行 |
| RETRYING | 任务等待重试 |
| SUCCEEDED | 任务执行成功 |
| FAILED | 任务执行失败 |
| CANCELLED | 任务被取消 |
| EXPIRED | 任务超过有效期 |
需要注意:
- 任务状态更新必须具备并发安全性。
- Worker 重启后需要恢复未完成任务。
- 消息队列可能重复投递消息。
- 任务执行需要幂等控制。
- 重试必须限制次数和时间。
- 任务结果需要设置保留期限。
对于有副作用的 Agent 任务,还需要考虑工具调用的幂等性和执行补偿。
十二、流式响应架构:保障实时交互体验
流式响应是大模型服务区别于传统 API 的重要能力。
模型不需要等到整个回答生成完成才返回,而是可以逐步将生成的 Token 发送给客户端。
12.1 SSE 流式响应
SSE 是基于 HTTP 的服务端事件推送机制。
典型响应格式:
Content-Type: text/event-stream
Cache-Control: no-cache
Connection: keep-alive
data: {"token":"你好"}
data: {"token":","}
data: {"token":"世界"}
data: [DONE]
在实际协议中,事件还可以包含:
- 请求 ID。
- 模型名称。
- Token 使用量。
- 错误信息。
- 结束原因。
- 工具调用状态。
12.2 流式响应的关键问题
连接生命周期管理
长时间生成可能持续占用连接,需要合理设置连接超时和保活机制。