一、什么是大模型部署?
大模型部署(LLM Deployment),是将训练完成或已经发布的模型,通过计算资源、推理引擎和服务接口转化为可供应用程序调用的服务的过程。
简单来说,模型部署解决三个核心问题:
- 模型在哪里运行? 本地设备、企业服务器、云服务器还是第三方模型平台。
- 模型如何提供服务? 本地推理接口、HTTP API、容器服务还是分布式推理集群。
- 模型如何稳定运行? 如何管理显存、并发、延迟、吞吐量、故障恢复和资源成本。
需要区分几个容易混淆的概念:
| 概念 | 含义 |
|---|---|
| 模型训练 | 使用数据和算法调整模型参数 |
| 模型微调 | 在已有模型基础上继续训练,使其适应特定任务 |
| 模型部署 | 将模型放到运行环境中,提供推理能力 |
| 模型推理 | 使用已经训练好的模型生成结果 |
| 模型服务化 | 将推理能力封装成可供其他系统调用的服务 |
| 模型托管 | 由平台或服务商负责模型运行和基础设施管理 |
模型部署不一定需要自己购买 GPU,也不一定需要自行管理推理框架。调用第三方大模型 API,同样属于使用已部署的模型服务。
二、大模型部署的整体架构
一个完整的大模型部署系统,通常包含模型文件、推理引擎、计算资源、服务接口和运维监控五个部分。
1. 核心组成
模型层(Model Layer)
负责提供模型权重和相关配置。
主要包括:
- 模型权重文件。
- 模型配置文件。
- Tokenizer。
- 模型架构定义。
- 量化参数。
- 模型版本信息。
推理层(Inference Engine)
负责执行模型前向计算。
主要功能:
- 模型加载。
- Tokenization。
- Prefill。
- Decode。
- KV Cache 管理。
- Batch 调度。
- 显存管理。
- 量化计算。
常见推理框架包括:
- vLLM
- SGLang
- Hugging Face Transformers
- TensorRT-LLM
- llama.cpp
- Ollama
计算资源层(Compute Layer)
负责提供模型运行所需的硬件资源。
主要包括:
- CPU。
- GPU。
- NPU。
- 显存。
- 系统内存。
- 高速存储。
- GPU 互联网络。
服务层(Serving Layer)
负责将推理能力开放给上层应用。
主要包括:
- HTTP API。
- OpenAI 兼容接口。
- 请求队列。
- 并发控制。
- 流式响应。
- 身份认证。
- 限流和负载均衡。
运维层(Operations Layer)
负责保障模型服务长期稳定运行。
主要包括:
- 服务监控。
- 日志管理。
- 性能分析。
- 模型版本管理。
- 自动扩缩容。
- 故障恢复。
- 资源成本管理。
2. 大模型部署架构图
flowchart TB
A["用户应用"] --> B["API Gateway"]
B --> C["请求调度与负载均衡"]
C --> D["模型服务层"]
D --> E["推理引擎"]
E --> F["模型加载与计算"]
F --> G["模型权重"]
F --> H["Tokenizer"]
F --> I["KV Cache"]
E --> J["GPU / CPU / NPU"]
J --> K["计算与显存资源"]
D --> L["流式响应"]
L --> M["应用返回结果"]
N["监控与日志系统"] -.-> D
N -.-> E
N -.-> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D
3. 一次模型推理请求如何完成?
以一个本地部署的聊天模型为例:
flowchart TD
A["接收用户请求"] --> B["Tokenizer 编码"]
B --> C["构造模型输入"]
C --> D["Prefill 阶段"]
D --> E["生成首个 Token"]
E --> F["Decode 阶段"]
F --> G{"是否生成结束"}
G -->|"否"| H["更新 KV Cache"]
H --> F
G -->|"是"| I["Tokenizer 解码"]
I --> J["返回生成结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要注意,模型部署并不是简单地将模型文件加载到显存中。真正影响服务性能的,还包括请求调度、批处理、KV Cache 管理和 GPU 计算效率。
三、方式一:调用云端大模型 API
云端 API 是最简单、最常见的大模型使用方式之一。
开发者不需要自行下载模型权重,也不需要购买和维护 GPU 服务器,只需要通过 HTTP 请求调用第三方模型服务。
1. 工作原理
flowchart TD
A["业务应用"] --> B["构造 API 请求"]
B --> C["身份认证"]
C --> D["云端模型 API"]
D --> E["模型推理集群"]
E --> F["生成模型结果"]
F --> G["API 返回响应"]
G --> H["业务应用处理结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
应用程序只负责发送请求,模型加载、GPU 调度、推理计算和底层运维都由服务商负责。
2. 典型调用方式
以 Python 调用 OpenAI 兼容接口为例:
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.example.com/v1"
)
response = client.chat.completions.create(
model="example-model",
messages=[
{
"role": "user",
"content": "解释什么是大模型部署"
}
],
temperature=0.7
)
print(response.choices[0].message.content)
这里的域名和模型名称只是示例,实际使用时应替换成服务商提供的 API 地址和模型标识。
3. 优点
- 无需自行配置 GPU。
- 接入成本低。
- 模型选择丰富。
- 通常能够直接使用较大规模的模型。
- 服务商负责模型运行和基础设施维护。
- 容易快速扩展业务。
4. 缺点
- 依赖外部网络。
- 需要承担 API 调用费用。
- 可能受到请求频率和 Token 配额限制。
- 数据需要按照服务商的接口和数据政策进行处理。
- 模型版本和服务策略可能发生变化。
- 对底层推理过程的控制能力有限。
5. 适用场景
- AI 应用快速开发。
- 创业项目和 MVP。
- 企业内部智能助手。
- 低运维能力团队。
- 不需要完全控制模型基础设施的业务。
常见服务包括 OpenAI API、Anthropic API、Google Gemini API,以及其他提供兼容接口的模型平台。
四、方式二:本地部署(Local Deployment)
本地部署是将模型下载到自己的设备或服务器中,在本地计算资源上执行推理。
本地部署不一定意味着只能在个人电脑上运行,也可以部署在企业内部服务器或局域网环境中。
1. 工作原理
flowchart TD
A["下载模型文件"] --> B["准备本地运行环境"]
B --> C["安装推理框架"]
C --> D["加载模型权重"]
D --> E["分配 CPU / GPU 内存"]
E --> F["启动本地推理服务"]
F --> G["本地应用发送请求"]
G --> H["模型执行推理"]
H --> I["返回生成结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2. 常见本地部署工具
Ollama
适合个人开发者和本地模型体验。
特点:
- 安装和启动简单。
- 支持常见开源模型。
- 提供本地 API。
- 支持模型下载和管理。
- 适合本地开发和轻量应用。
llama.cpp
适合 CPU、GPU 混合推理和量化模型部署。
特点:
- 支持 GGUF 模型格式。
- 支持多种硬件后端。
- 可以在普通电脑上运行量化模型。
- 支持 CPU 和部分 GPU 加速。
- 适合资源受限环境。
Transformers
适合模型开发、实验和自定义推理。
特点:
- 与 Hugging Face 生态集成。
- 模型加载方式灵活。
- 便于修改推理逻辑。
- 支持大量模型架构。
- 适合算法验证和二次开发。
3. 本地部署示例
使用 Ollama 的命令行工具:
# 下载模型
ollama pull qwen3
# 启动模型交互
ollama run qwen3
# 查看本地模型
ollama list
也可以通过本地 HTTP 接口调用模型:
import requests
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "qwen3",
"prompt": "解释什么是本地大模型部署",
"stream": False
},
timeout=120
)
print(response.json()["response"])
具体模型名称和接口参数应以本地安装版本的官方文档为准。
4. 优点
- 模型数据可以保留在本地环境。
- 不需要按 Token 向第三方模型服务付费。
- 可以控制模型版本。
- 可以定制推理参数。
- 适合离线或网络受限环境。
- 方便开发和调试。
5. 缺点
- 需要准备计算资源。
- 模型加载可能占用大量内存。
- 大模型可能无法在普通设备上运行。
- 并发能力取决于本地硬件。
- 需要自行维护模型文件和运行环境。
- 性能优化需要一定技术经验。
6. 适用场景
- 个人学习和实验。
- 本地 AI 开发环境。
- 企业内部小规模应用。
- 离线推理。
- 对数据本地处理有要求的场景。
五、方式三:云服务器部署
云服务器部署是将模型放到云厂商提供的虚拟机或 GPU 实例上运行。
与直接调用云端模型 API 不同,云服务器部署通常由使用者自己管理模型、推理引擎和服务进程。
1. 工作原理
flowchart TD
A["用户请求"] --> B["云端 API Gateway"]
B --> C["云服务器"]
C --> D["模型服务进程"]
D --> E["推理框架"]
E --> F["GPU 计算"]
F --> G["模型生成结果"]
G --> H["返回 API 响应"]
I["模型存储"] --> D
J["监控系统"] -.-> C
J -.-> D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
2. 部署步骤
通常包括:
- 选择云服务器实例。
- 配置 GPU 驱动和 CUDA 环境。
- 安装推理框架。
- 下载模型权重。
- 配置模型参数。
- 启动模型服务。
- 配置 API 和网络访问。
- 设置监控和安全策略。
3. 示例:使用 vLLM 启动模型
在具备兼容 GPU 环境的服务器上,可以使用 vLLM 启动模型服务。
vllm serve Qwen/Qwen3-8B \
--host 0.0.0.0 \
--port 8000
启动后,可以通过 OpenAI 兼容接口访问服务。
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1"
)
response = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[
{
"role": "user",
"content": "介绍云服务器部署方式"
}
]
)
print(response.choices[0].message.content)
这里的命令展示了基本启动方式。实际部署还需要根据模型要求配置显存、上下文长度、并发和网络访问策略。
4. 优点
- 计算资源可以按需选择。
- 不需要自行采购物理服务器。
- 可以使用 GPU 实例。
- 支持公网或私有网络访问。
- 便于扩展存储和计算资源。
- 能够自行控制模型推理服务。
5. 缺点
- GPU 实例费用可能较高。
- 需要管理操作系统和驱动。
- 需要自行处理服务稳定性。
- 网络和存储可能影响推理性能。
- 资源利用率不高时会产生闲置成本。
6. 适用场景
- 需要自主控制模型服务的企业。
- 有一定运维能力的团队。
- 需要长期运行模型 API 的业务。
- 对模型版本和推理参数有定制要求的场景。
六、方式四:容器化部署
容器化部署是将模型推理服务、运行依赖和启动配置封装在容器镜像中,再通过容器运行环境启动服务。
Docker 是最常见的容器化工具之一。
容器化不是独立的计算资源类型,而是一种应用交付和运行方式。它可以运行在本地机器、云服务器或 Kubernetes 集群中。
1. 为什么需要容器化?
传统部署方式容易出现环境不一致:
- 开发环境能够运行,生产环境无法启动。
- Python 依赖版本不一致。
- CUDA 或驱动配置不同。
- 服务迁移困难。
- 部署过程难以重复。
容器化可以把应用依赖和运行配置封装起来,提升环境一致性和部署效率。
2. 容器化部署架构
flowchart TD
A["模型推理代码"] --> B["Dockerfile"]
C["运行依赖"] --> B
D["服务配置"] --> B
B --> E["构建 Docker Image"]
E --> F["镜像仓库"]
F --> G["目标服务器"]
G --> H["启动容器"]
H --> I["加载模型"]
I --> J["启动推理服务"]
J --> K["对外提供 API"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3. Docker 部署示例
下面是一个简化的 Dockerfile:
FROM python:3.11-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
EXPOSE 8000
CMD ["python", "server.py"]
构建镜像:
docker build -t llm-service:1.0 .
启动容器:
docker run -d \
--name llm-service \
-p 8000:8000 \
llm-service:1.0
如果推理服务需要使用 NVIDIA GPU,还需要配置支持 GPU 的容器运行环境,并确保宿主机驱动、容器运行时和 CUDA 相关依赖兼容。
4. 容器化部署的优点
- 环境一致性好。
- 部署过程可重复。
- 便于版本管理。
- 支持快速迁移。
- 适合自动化部署。
- 便于与 Kubernetes 集成。
5. 容器化部署的注意事项
模型权重可能达到数 GB 甚至更大,不建议在每次容器启动时都重新下载模型。
生产环境通常会:
- 使用模型缓存卷。
- 将模型存储在共享存储中。
- 使用独立模型仓库。
- 将应用镜像和模型文件分开管理。
- 控制模型加载和容器启动时间。
七、方式五:Kubernetes 集群部署
当单台服务器无法满足模型服务的并发量、可用性或资源需求时,可以使用 Kubernetes 管理多个模型服务实例。
Kubernetes 本身并不负责模型推理,而是负责容器编排、资源调度、服务发现和故障恢复。
1. 核心架构
典型 Kubernetes 模型部署包括:
- Deployment:管理模型服务副本。
- Pod:承载推理服务容器。
- Service:提供稳定访问入口。
- Ingress:处理外部请求流量。
- PersistentVolume:提供持久化存储。
- ConfigMap:保存非敏感配置。
- Secret:保存敏感配置。
- HPA:根据指标进行自动扩缩容。
2. Kubernetes 部署架构
flowchart TB
A["用户请求"] --> B["Ingress"]
B --> C["Kubernetes Service"]
C --> D["负载均衡"]
D --> E["Pod 1"]
D --> F["Pod 2"]
D --> G["Pod 3"]
E --> H["推理引擎"]
F --> I["推理引擎"]
G --> J["推理引擎"]
H --> K["GPU 节点"]
I --> L["GPU 节点"]
J --> M["GPU 节点"]
N["HPA"] --> D
O["监控系统"] -.-> E
O -.-> F
O -.-> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style O fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
3. Kubernetes 部署示例
下面是一个简化的 Deployment 配置:
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-service
spec:
replicas: 2
selector:
matchLabels:
app: llm-service
template:
metadata:
labels:
app: llm-service
spec:
containers:
- name: llm
image: llm-service:1.0
ports:
- containerPort: 8000
resources:
limits:
nvidia.com/gpu: 1
该配置假设集群已经安装并正确配置 NVIDIA GPU 设备插件或相应的资源暴露机制。
生产环境还需要配置:
- GPU 节点标签与调度约束。
- Readiness Probe。
- Liveness Probe。
- 资源请求与限制。
- 模型权重挂载。
- 服务滚动更新策略。
- 节点故障处理。
- GPU 资源监控。
4. 优点
- 支持多实例部署。
- 支持服务发现和负载均衡。
- 能够自动恢复异常容器。
- 支持弹性扩缩容。
- 便于统一管理多个模型服务。
- 适合大型企业级系统。
5. 缺点
- 架构复杂度较高。
- GPU 调度需要额外配置。
- 模型启动和加载需要时间。
- 资源管理和监控要求较高。
- 不适合所有小型项目。
八、方式六:多 GPU 与分布式部署
当模型规模过大,单张 GPU 无法容纳完整模型,或者单卡吞吐量无法满足业务需求时,需要使用多 GPU 或分布式推理。
这里需要区分两个目标:
- 模型规模扩展: 将一个模型拆分到多张 GPU 上,使模型能够运行。
- 推理吞吐扩展: 使用多张 GPU 或多个实例提高整体处理能力。
两者的技术方案并不完全相同。
1. 数据并行(Data Parallelism)
数据并行的核心思想是:多个 GPU 或 GPU 组分别处理不同的请求或输入数据。
在模型推理服务中,可以通过多个模型副本处理不同用户请求。
flowchart TD
A["请求入口"] --> B["请求调度器"]
B --> C["GPU 1 模型副本"]
B --> D["GPU 2 模型副本"]
B --> E["GPU 3 模型副本"]
C --> F["结果汇总"]
D --> F
E --> F
F --> G["返回用户"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
优点:
- 请求之间可以独立处理。
- 适合提升并发吞吐量。
- 单个请求的跨卡通信开销较低。
- 可以通过增加模型副本扩展服务能力。
缺点:
- 每个模型副本通常需要一份模型权重。
- 显存占用可能较高。
- 需要请求调度和负载均衡。
- 无法直接解决单个模型无法装入单卡的问题。
2. 张量并行(Tensor Parallelism)
张量并行是将模型中的矩阵计算拆分到多张 GPU 上。
例如,一个线性层的权重矩阵可以按照列或行拆分,由不同 GPU 分别计算。
假设一个矩阵为:
使用两张 GPU 进行列切分:
每张 GPU 负责部分矩阵计算,之后根据计算方式进行必要的结果通信和合并。
示意图:
flowchart TD
A["输入张量"] --> B["张量并行调度"]
B --> C["GPU 1 计算 W1"]
B --> D["GPU 2 计算 W2"]
C --> E["通信与结果合并"]
D --> E
E --> F["输出张量"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
优点:
- 可以分摊模型参数和部分计算。
- 有助于运行单卡无法容纳的模型。
- 能够利用多张 GPU 的计算能力。
缺点:
- GPU 之间需要频繁通信。
- 对互联带宽和通信延迟敏感。
- 配置和调优复杂。
- GPU 数量增加不一定带来线性性能提升。
常见通信技术包括 NVIDIA NVLink、PCIe 和 InfiniBand 等。
3. 流水线并行(Pipeline Parallelism)
流水线并行将模型的不同层分配给不同 GPU。
例如:
- GPU 1 运行模型前半部分。
- GPU 2 运行模型中间部分。
- GPU 3 运行模型后半部分。