一、什么是 Zero-shot 与 Few-shot?
Zero-shot 和 Few-shot 是 Prompt Engineering 中两种重要的上下文学习策略(In-Context Learning,ICL)。
它们主要通过调整 Prompt 中示例的数量,引导模型完成特定任务。
- Zero-shot:不提供任务示例,只描述任务和要求。
- One-shot:提供一个任务示例。
- Few-shot:提供少量任务示例,帮助模型理解输入与输出之间的映射关系。
这三种方式都不需要更新模型参数,而是在推理阶段通过上下文影响模型的输出。
1.1 Zero-shot:零样本提示
Zero-shot 指不向模型提供具体的输入与目标输出示例,而是直接通过自然语言描述任务。
例如:
请判断下面这段评论的情感倾向。
评论:
这款手机运行流畅,拍照效果也很好。
请从以下类别中选择一个:
- 正面
- 负面
- 中性
只输出类别名称。
模型需要根据自身已经学习到的语言知识和任务指令,直接完成情感分类。
其特点:
- 不需要准备示例数据。
- Prompt 结构简单。
- Token 消耗相对较少。
- 适合常见、定义清晰的任务。
- 对复杂标签体系和特殊业务规则的适应能力可能不足。
1.2 One-shot:单样本提示
One-shot 是提供一个示例,让模型参考示例理解任务。
例如:
请判断评论的情感倾向。
示例:
输入:
这款电脑性能很好,运行速度很快。
输出:
正面
现在判断:
输入:
这款手机运行流畅,拍照效果也很好。
输出:
模型可以从示例中获得输入格式、输出格式和任务执行方式的信息。
One-shot 适合任务规则比较明确,但需要一个示例帮助模型理解输出形式的场景。
1.3 Few-shot:少样本提示
Few-shot 是向模型提供少量输入与输出示例,让模型从上下文中学习任务模式。
例如:
请判断评论的情感倾向。
示例 1:
输入:
这款电脑性能很好,运行速度很快。
输出:
正面
示例 2:
输入:
电池续航太差了,使用体验很糟糕。
输出:
负面
示例 3:
输入:
这款手机今天正式发布了。
输出:
中性
现在判断:
输入:
这款手机运行流畅,拍照效果也很好。
输出:
通过三个示例,模型可以观察:
- 输入数据的结构。
- 分类任务的判断方式。
- 正面、负面和中性标签的含义。
- 预期输出格式。
Few-shot 并不是让模型通过几个示例重新训练参数,而是让模型在当前上下文中利用这些示例完成任务。
1.4 三种提示策略的区别
| 维度 | Zero-shot | One-shot | Few-shot |
|---|---|---|---|
| 示例数量 | 0 | 1 | 少量,通常多个 |
| 任务描述 | 需要 | 需要 | 需要 |
| 输入输出示例 | 无 | 1 组 | 多组 |
| Prompt 长度 | 较短 | 较短至中等 | 通常较长 |
| Token 消耗 | 较低 | 较低至中等 | 通常较高 |
| 任务适应能力 | 依赖指令清晰度 | 可参考单个样例 | 可学习多个样例中的模式 |
| 适用场景 | 常见标准任务 | 格式演示 | 特殊规则、复杂分类 |
需要注意,Few-shot 不一定比 Zero-shot 效果更好。示例质量、任务难度、模型能力和上下文长度都会影响最终结果。
二、In-Context Learning:上下文学习机制
理解 Zero-shot 和 Few-shot,首先需要理解 In-Context Learning。
2.1 什么是 In-Context Learning?
In-Context Learning,简称 ICL,通常译为上下文学习。
它指模型在推理过程中,通过 Prompt 中提供的任务描述、示例和上下文信息,表现出对当前任务模式的适应能力。
例如,模型原本是一个通用语言模型。
给它提供:
输入:苹果
输出:水果
输入:汽车
输出:交通工具
输入:狗
输出:
模型可能输出:
动物
模型并没有通过梯度下降更新参数,而是利用当前上下文中的示例推断输入与输出之间的映射关系。
2.2 ICL 与传统机器学习训练的区别
传统监督学习通常需要准备训练数据,并通过优化算法更新模型参数。
其过程可以表示为:
flowchart TD
A["准备训练数据"]
B["模型前向计算"]
C["计算损失函数"]
D["反向传播"]
E["更新模型参数"]
F["重复训练"]
G["得到训练后的模型"]
H["输入新样本"]
I["模型预测"]
A --> B
B --> C
C --> D
D --> E
E --> F
F -->|"继续训练"| B
F -->|"训练完成"| G
G --> H
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Few-shot 的执行方式不同。
示例直接作为上下文输入模型,不需要执行参数更新。
flowchart TD
A["准备任务描述"]
B["准备少量示例"]
C["组织 Few-shot Prompt"]
D["Tokenizer 编码"]
E["构建模型上下文"]
F["Transformer 推理"]
G["根据上下文生成结果"]
H["输出预测"]
A --> C
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
style A fill:#EAF3EC,stroke:#83A995,color:#315D49
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
两者的核心区别:
| 维度 | 传统监督学习 | In-Context Learning |
|---|---|---|
| 数据使用方式 | 训练数据 | Prompt 上下文 |
| 参数更新 | 通常需要 | 不需要 |
| 梯度计算 | 训练时需要 | 常规推理时不需要 |
| 优化器 | 训练时使用 | 不需要 |
| 示例保存位置 | 训练数据集 | 当前请求上下文 |
| 主要作用 | 学习模型参数 | 引导当前推理行为 |
这里的“不更新参数”是指常规推理阶段的 ICL,不代表所有大模型应用都不涉及微调或其他训练过程。
2.3 为什么模型能够通过少量示例完成任务?
这是 In-Context Learning 最值得关注的机制问题。
一个经过大规模预训练的语言模型,已经学习了大量语言结构、知识关联和任务模式。
当 Prompt 提供少量示例时,模型可以利用已有能力,在上下文中识别示例之间的关系。
例如:
输入:北京
输出:中国
输入:东京
输出:日本
输入:巴黎
输出:
模型可能推断出任务是在建立城市与所属国家之间的映射关系。
但需要区分两个层面:
- 已有知识的利用:模型可能已经知道这些城市与国家之间的关系。
- 任务模式的识别:模型从示例中推断当前应该执行哪种映射任务。
Few-shot 的效果通常来自这两种能力的结合。
目前对于 ICL 的具体内部机制,研究中存在多种解释,包括隐式学习算法、注意力模式和模型内部表示变化等。不能简单认为模型真的像人类一样通过几个例子完成了完整的新知识学习。
三、Zero-shot 的设计方法
Zero-shot 的重点是让任务指令足够明确,使模型不依赖示例也能理解任务。
3.1 明确任务目标
不推荐:
分析下面的内容。
问题在于任务目标不明确。
模型无法确定应该进行情感分析、关键词提取、摘要生成还是内容分类。
推荐:
分析下面的用户评论,判断其情感倾向。
只能从以下三个类别中选择:
- 正面
- 负面
- 中性
只输出类别名称。
明确任务目标能够减少模型对任务的自由推断。
3.2 明确输入范围
对于复杂任务,需要说明模型应该分析哪些内容。
例如:
请分析下面的商品评论。
分析范围:
- 用户对商品性能的评价。
- 用户对商品质量的评价。
- 用户对商品使用体验的评价。
忽略:
- 与商品无关的个人经历。
- 无法判断的背景信息。
输入范围越明确,模型越容易聚焦于目标信息。
3.3 明确输出格式
Zero-shot 不提供示例,但仍然可以规定输出结构。
例如:
请分析以下用户评论。
输出 JSON:
{
"sentiment": "正面、负面或中性",
"reason": "判断依据",
"confidence": "高、中或低"
}
需要注意,普通 Prompt 中要求 JSON 输出,不等于 API 层已经启用了结构化输出约束。
对于严格的机器接口,还应结合 JSON Schema、Structured Outputs 或服务端校验。
3.4 明确判断标准
对于边界模糊的任务,应定义标签含义。
例如:
情感分类标准:
正面:
表达满意、认可、赞扬或积极评价。
负面:
表达不满、抱怨、批评或消极评价。
中性:
仅描述事实,没有明显的积极或消极态度。
如果没有定义标签边界,不同模型可能采用不同的判断标准。
3.5 Zero-shot 设计模板
# 任务
{{task_description}}
# 输入
{{input_data}}
# 判断规则
{{decision_rules}}
# 输出要求
{{output_format}}
# 约束
{{constraints}}
Zero-shot 的优化重点不是不断增加文字,而是让任务定义、判断标准和输出要求足够清晰。
四、Few-shot 的设计方法
Few-shot 的核心不是简单地增加示例,而是选择能够代表任务规律的高质量示例。
4.1 示例结构
一个标准 Few-shot 示例通常包含:
- Input:输入内容。
- Output:期望输出。
- 可选 Explanation:判断依据。
例如:
任务:判断用户评论的情感倾向。
示例 1:
Input:
这款手机运行速度很快,屏幕显示也很清晰。
Output:
正面
示例 2:
Input:
手机经常死机,电池也不耐用。
Output:
负面
示例 3:
Input:
这款手机今天开始正式销售。
Output:
中性
现在处理:
Input:
手机拍照效果很好,但是价格有点贵。
Output:
模型可以通过示例观察任务规则,而不需要开发者对每种情况都写出详细的判断程序。
4.2 示例必须具有代表性
如果示例全部是简单、明显的情况,模型可能无法处理复杂边界样本。
例如:
| 示例 | 情感 |
|---|---|
| 非常好用,强烈推荐 | 正面 |
| 太差了,完全不能用 | 负面 |
| 今天正式发布 | 中性 |
这些示例容易区分,但真实业务中可能存在混合情感:
这款手机拍照很好,但续航太差,价格也比较贵。
这类样本需要根据任务定义明确判断规则,例如:
- 判断整体情感。
- 判断主要情感。
- 输出多标签情感。
- 分别分析不同方面的情感。
如果任务定义不清晰,仅仅增加示例数量并不能解决问题。
4.3 示例覆盖不同类型
Few-shot 示例应该尽量覆盖主要输入类型和关键边界情况。
例如,技术问题分类:
| 输入类型 | 示例内容 | 目标标签 |
|---|---|---|
| 数据库问题 | MySQL 查询速度很慢 | 数据库 |
| 网络问题 | 服务之间无法建立连接 | 网络 |
| 性能问题 | Java 服务 CPU 使用率过高 | 性能 |
| 缓存问题 | Redis 数据没有及时更新 | 缓存 |
| 边界问题 | 数据库连接池耗尽 | 数据库 / 性能 |
最后一个示例可能同时涉及数据库和性能,需要提前定义单标签还是多标签分类。
示例的价值在于覆盖任务边界,而不只是数量。
4.4 示例格式保持一致
不推荐:
示例一:
输入是:手机很好用。
结果为:正面
例子2:
文本:电池不耐用。
类别:负面
第三个:
用户说手机今天上市。
判断结果是中性。
虽然模型可能理解这些内容,但格式不统一会增加上下文中的结构差异。
推荐:
示例 1:
Input:手机很好用。
Output:正面
示例 2:
Input:电池不耐用。
Output:负面
示例 3:
Input:手机今天上市。
Output:中性
统一格式有利于模型识别示例之间的共同结构。
4.5 示例顺序可能影响结果
Few-shot 不仅受到示例内容影响,还可能受到示例顺序影响。
例如:
示例 1:A → X
示例 2:B → Y
示例 3:C → Z
与:
示例 1:C → Z
示例 2:A → X
示例 3:B → Y
即使示例集合完全相同,模型的输出也可能不同。
原因是自回归模型通过有序 Token 序列处理上下文,示例的位置、相邻关系和结束位置都会影响后续计算。
工程实践中,可以对示例顺序进行实验,而不是假设某一种排列始终最优。
4.6 示例数量并不是越多越好
Few-shot 示例数量需要在任务效果和上下文成本之间权衡。
增加示例可能带来:
- 更多任务模式信息。
- 更广的输入覆盖。
- 更清晰的标签边界。
但也可能带来:
- Token 消耗增加。
- 上下文窗口占用增加。
- 冗余信息增多。
- 不同示例之间出现冲突。
- 重要指令被稀释。
- 推理延迟增加。
因此,示例数量应通过实验确定,而不是固定认为 3 个、5 个或 10 个就是最佳值。
五、Few-shot 的高级策略
除了直接提供示例,还可以通过示例组织方式、检索方式和示例内容设计提升效果。
5.1 Example Selection:示例选择
Example Selection 指从已有示例库中选择最适合当前任务的样本。
例如,假设系统有 10,000 条标注数据,但上下文窗口只能容纳少量示例。
不需要将全部数据放入 Prompt,而是从中挑选与当前输入相关的样本。
常见选择方法:
| 方法 | 选择依据 |
|---|---|
| Random Selection | 随机选择 |
| Similarity-based Selection | 根据语义相似度选择 |
| Diversity-based Selection | 根据样本多样性选择 |
| Cluster-based Selection | 根据聚类分布选择 |
| Hybrid Selection | 结合相似度和多样性 |
5.2 Similarity-based Selection:相似度选择
假设当前用户输入为:
Java 服务的 CPU 使用率突然升高。
示例库中包含:
示例 A:MySQL 查询速度很慢。
示例 B:Java 服务出现大量线程竞争。
示例 C:Redis 缓存命中率下降。
示例 D:服务器磁盘空间不足。
可以使用 Embedding 将当前输入和候选示例转换为向量,再计算相似度。
常见余弦相似度:
相似度越高,通常意味着两个文本在向量空间中的方向越接近。
示例检索流程:
flowchart TD
A["接收当前任务输入"]
B["生成输入 Embedding"]
C["读取示例向量库"]
D["计算语义相似度"]
E["按照相似度排序"]
F["选择 Top-K 示例"]
G["构建 Few-shot Prompt"]
H["调用大模型"]
A --> B
B --> D
C --> D
D --> E
E --> F
F --> G
G --> H
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这种方式可以让 Few-shot 示例随用户输入动态变化。
但要注意:语义相似度高不一定意味着示例最适合当前任务。
例如,两个输入虽然语义相近,但可能属于不同标签,或者需要不同的处理规则。
5.3 Diversity-based Selection:多样性选择
如果只选择相似度最高的示例,可能会得到多个高度相似的样本。
例如:
- Java CPU 使用率高。
- Java CPU 占用过高。
- Java 服务 CPU 持续飙升。
这三个示例覆盖的信息可能高度重复。
多样性选择希望示例之间具有互补性。
例如:
- 一个性能问题。
- 一个数据库问题。
- 一个网络问题。
- 一个异常输入。
这样可以增加示例集合对不同任务类型的覆盖。
在实际系统中,可以结合相似度和多样性进行选择。
5.4 Dynamic Few-shot:动态示例选择
传统 Few-shot 通常在 Prompt 中固定写入几个示例。
Dynamic Few-shot 则根据当前输入,从示例库中动态检索适合的样本。
完整过程:
- 用户提交任务。
- 系统提取任务特征。
- 从示例库检索候选样本。
- 对候选样本进行排序和筛选。
- 构建动态 Few-shot Prompt。
- 调用模型完成任务。
这种方式适合输入类型复杂、示例库规模较大的业务系统。
5.5 Chain-of-Thought 示例
Chain-of-Thought(CoT)是一种引导模型生成中间推理步骤的提示策略。
Few-shot 可以通过提供带有推理过程的示例,引导模型采用相似的解题组织方式。
例如:
示例:
问题:
一个商品原价 200 元,打八折后是多少?
推理:
八折表示支付原价的 80%。
200 × 0.8 = 160。
答案:
160 元。
现在回答:
问题:
一个商品原价 300 元,打七折后是多少?
这种方式不是单纯增加输入输出映射,而是增加了解题过程示例。
需要注意:
- CoT 示例可能帮助模型组织复杂任务。
- 并非所有任务都需要输出推理过程。
- 模型生成的解释不一定完整反映其内部真实计算过程。
- 对事实性任务,推理过程不能替代外部证据和结果验证。
六、Zero-shot 与 Few-shot 的适用场景
两种策略没有绝对优劣,应该根据任务特征选择。
6.1 适合 Zero-shot 的场景
常见标准任务
例如:
- 文本摘要。
- 普通翻译。
- 常见情感分类。
- 信息提取。
- 通用问答。
- 代码解释。
这些任务通常具有较强的通用性,模型可能仅凭任务描述就能完成。
快速原型验证
当任务还处于早期阶段,没有准备好标注示例时,可以先使用 Zero-shot 验证模型是否具备基本能力。
上下文成本敏感
当请求数量很大、上下文预算有限时,可以优先尝试 Zero-shot。
6.2 适合 Few-shot 的场景
特殊业务规则
例如企业内部的工单分类、业务风险识别和客服意图分类。
这些任务可能具有特定的标签体系,通用模型不一定能够准确理解。
非标准输出格式
例如要求模型生成特殊 JSON 结构、特定字段顺序或内部业务分类编码。
复杂分类边界
例如:
- 投诉与普通咨询。
- 故障与功能建议。
- 业务异常与系统异常。
- 高风险与普通风险。
通过示例可以帮助模型理解实际业务中的标签边界。
小规模标注数据场景
当只有少量高质量标注数据时,可以将它们作为上下文示例使用,而不必立即开展微调。