一、什么是大模型幻觉?
大模型幻觉(LLM Hallucination)是指大语言模型生成了不符合客观事实、输入证据或任务约束的内容,却可能以流畅、确定甚至专业的方式呈现出来。
例如,向模型询问:
请介绍一下某篇实际上不存在的学术论文,包括作者、发表年份和核心结论。
模型可能生成:
- 一个看似真实的论文标题。
- 几位虚构的作者。
- 一个具体的发表年份。
- 一个并不存在的期刊或会议。
- 一段逻辑完整的研究结论。
这些信息在语言形式上可能非常自然,但并没有可靠的事实依据。
1. 大模型幻觉的典型类型
| 类型 | 表现 | 示例 |
|---|---|---|
| 事实性幻觉 | 生成错误事实 | 虚构历史事件或人物经历 |
| 引用幻觉 | 编造来源和引用 | 生成不存在的论文、书籍或网址 |
| 数字幻觉 | 数值、日期或统计数据错误 | 错误描述市场规模 |
| 实体幻觉 | 混淆人物、组织或产品 | 将不同公司的产品信息混在一起 |
| 逻辑幻觉 | 推理过程存在错误 | 前提正确但结论不成立 |
| 上下文幻觉 | 忽略输入中的关键信息 | 回答与用户提供的文档矛盾 |
| 代码幻觉 | 生成不存在的 API 或接口 | 调用一个实际不存在的函数 |
| 过度推断 | 根据有限证据得出确定结论 | 将相关性解释为因果关系 |
这些类型可能同时出现。
例如,模型在回答技术问题时,可能先虚构一个 API,再编造参数说明,最后给出一段无法运行的代码。
2. 幻觉不等于随机胡说
幻觉与完全随机生成有本质区别。
大模型幻觉通常具有以下特点:
- 语言结构符合自然语言习惯。
- 内容与问题主题具有一定相关性。
- 细节之间可能具有表面上的逻辑一致性。
- 部分内容正确,部分内容错误。
- 模型可能以较高确定性表达错误结论。
这也是幻觉难以被普通用户识别的原因。
大模型生成内容的流畅程度,与内容的事实准确性并不存在必然对应关系。
二、根本原因:大模型的训练目标不是事实验证
理解幻觉,首先要理解大语言模型究竟是如何训练的。
主流 Decoder-only 大语言模型通常采用自回归语言建模目标,通过大量文本学习预测下一个 Token。
1. Next Token Prediction
假设训练文本为:
人工智能正在改变软件开发方式。
Tokenizer 将文本转换为 Token 序列:
模型学习根据前面的 Token 预测下一个 Token:
整个序列的联合概率可以表示为:
训练过程中,模型通过最小化负对数似然损失,学习提高真实训练 Token 的预测概率:
其中:
- \theta:模型参数。
- x_t:训练文本中的真实 Token。
- x_{<t}:当前位置之前的上下文。
- P_\theta:模型参数决定的条件概率分布。
这个训练目标主要要求模型学习文本序列中的统计规律,而不是为每个事实建立独立的真实性验证机制。
2. 语言建模目标与事实验证目标不同
假设训练数据中存在大量类似表达:
某种技术由某研究团队于某年提出。
模型可以学习到:
- 技术介绍通常包含提出者。
- 技术历史通常包含时间。
- 学术表达通常包含研究团队。
- 技术描述通常包含背景和结论。
当模型遇到一个信息不足的问题时,仍然可能生成符合上述语言模式的答案。
但符合语言模式,不代表生成的具体人物、年份和事件真实存在。
因此:
模型学习的是条件概率分布,不是一个天然具备事实核验能力的数据库。
3. 预测概率不等于事实概率
模型输出的:
表示在当前上下文下,模型预测某个 Token 的条件概率。
它并不直接表示:
两者不是同一个概率概念。
例如,模型可能非常熟悉某类学术论文的表达结构,因此能够生成一个形式上高度合理的引用。
但模型对这段文本的高预测概率,并不能证明论文真实存在。
三、训练数据问题:错误知识从哪里来?
大语言模型通过大规模语料进行预训练。
这些数据可能来自:
- 网页文本。
- 新闻报道。
- 书籍。
- 学术论文。
- 技术文档。
- 开源代码。
- 问答社区。
- 公开数据集。
- 合成数据。
训练数据的质量和分布,会直接影响模型学习到的知识表示。
1. 训练数据本身可能包含错误
互联网并不是一个经过严格事实审核的知识库。
其中可能存在:
- 事实错误的文章。
- 过时的技术文档。
- 相互矛盾的报道。
- 未经验证的观点。
- 虚假新闻。
- 错误的代码示例。
- 被重复传播的错误信息。
如果模型在训练过程中学习了这些内容,就可能将错误信息编码到参数中。
即使某个错误在训练数据中出现频率很高,也不意味着它在现实世界中是真实的。
2. 数据分布不均衡
不同知识领域在训练数据中的覆盖程度存在差异。
例如:
- 主流编程语言资料丰富。
- 小众框架资料较少。
- 新发布的软件版本资料有限。
- 某些地区性事件缺乏公开报道。
- 专业领域的最新研究可能尚未进入训练数据。
当模型面对训练数据覆盖不足的主题时,可能更依赖已有知识模式进行补全。
这容易造成:
- 混淆不同版本的 API。
- 将相似产品的功能混在一起。
- 错误描述冷门技术。
- 编造缺乏训练依据的细节。
3. 数据过时
模型的预训练数据通常存在时间截止点。
假设模型学习了某个软件在 2024 年的 API 文档,而用户询问 2026 年的最新版本。
模型可能仍然根据旧知识回答。
例如:
- 已经废弃的 API 被当作当前接口。
- 旧版本配置被描述为最新配置。
- 已经调整的产品功能被错误介绍。
- 已经发生变化的价格和政策仍然被引用。
这种情况不一定是模型在编造,而可能是模型使用了过时知识。
4. 数据冲突与来源可靠性
训练数据中可能存在相互矛盾的信息。
例如,不同网站对某个事件的发生时间给出了不同描述。
模型需要从大量文本模式中学习,但并不天然拥有一个可靠的机制,可以对所有来源进行事实级别的权威排序。
当不同信息发生冲突时,模型可能形成模糊甚至错误的知识表示。
5. 数据质量与幻觉的关系
flowchart TB
A["大规模训练数据"] --> B["数据采集"]
B --> C["数据清洗与过滤"]
C --> D{"数据质量是否可靠"}
D -->|"是"| E["进入训练语料"]
D -->|"否"| F["错误、过时或冲突信息"]
F --> E
E --> G["模型预训练"]
G --> H["参数学习"]
H --> I["形成内部知识表示"]
I --> J["推理与文本生成"]
J --> K["可能产生事实性错误"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
需要强调:即使训练数据经过严格清洗,也无法保证完全消除幻觉。幻觉还与模型目标、参数化表示、上下文理解和推理机制有关。
四、参数化知识:为什么模型会记错事实?
大语言模型通常没有传统数据库那样的结构化事实表。
它主要通过神经网络参数学习和存储语言规律、知识关联及模式表示。
1. 知识被编码在模型参数中
一个模型可以抽象表示为:
其中:
- x:输入上下文。
- \theta:模型参数。
- f_\theta:模型计算过程。
- y:模型输出。
模型的知识并不是简单地存储在某个可直接查询的参数位置。
它通常分布在大量权重和神经网络计算路径中。
例如,模型可能学习到:
- 某个人物与某家公司有关联。
- 某种技术与某个研究方向有关。
- 某个概念通常出现在某类语境中。
- 某种 API 通常具有某些参数。
这些关联以分布式方式参与模型预测。
2. 参数化知识不等于数据库记录
传统数据库可以存储:
| 人物 | 公司 | 职务 |
|---|---|---|
| A | 公司 X | CEO |
查询时可以根据字段和条件进行检索。
而神经网络参数并不提供这样的显式结构。
模型需要根据输入上下文,通过多层神经网络计算得到输出。
因此,模型可能出现:
- 记住人物但混淆所属公司。
- 记住技术但混淆提出时间。
- 记住产品但混淆版本。
- 记住概念但无法准确还原原始来源。
3. 相似知识之间可能发生混淆
假设训练数据中同时包含:
- 技术 A:由团队 X 开发。
- 技术 B:由团队 Y 开发。
- 技术 C:由团队 Z 开发。
这些技术可能属于相同领域,具有相似的名称和描述。
当模型生成内容时,可能将不同实体之间的属性错误组合。
例如:
技术 A + 团队 Y + 技术 C 的发布时间
最终生成一个看似完整、实际却不存在的事实组合。
这类问题可以理解为知识关联错误或实体属性混淆。
4. 参数记忆与事实检索的差异
| 维度 | 参数化知识 | 结构化数据库 |
|---|---|---|
| 存储形式 | 分布式神经网络参数 | 显式记录 |
| 查询方式 | 神经网络前向计算 | 查询语句或索引 |
| 更新方式 | 微调或重新训练等 | 更新记录 |
| 可追溯性 | 通常较弱 | 通常较强 |
| 事实约束 | 不天然保证 | 可通过约束和校验实现 |
| 信息冲突 | 可能形成模糊表示 | 可明确保存来源和版本 |
参数化知识适合学习复杂模式和语义关联,但不能替代需要严格准确性的事实数据库。
五、上下文理解问题:模型为什么会误解用户?
大模型的生成结果高度依赖当前上下文。
即使模型具备相关知识,也可能因为输入信息不完整、指令冲突或上下文过长而产生错误回答。
1. 输入信息不足
例如,用户询问:
这个框架最新版本支持哪些功能?
但没有提供:
- 框架名称。
- 具体版本。
- 运行环境。
- 查询时间。
- 官方文档来源。
模型可能根据上下文猜测用户所指的框架,进而生成不准确的内容。
当问题存在多个合理解释时,模型如果没有主动澄清,就可能选择错误的解释路径。
2. 指代关系不明确
例如:
Python 和 Go 都支持并发。它的调度器有什么区别?
这里的“它”可能指 Python,也可能指 Go。
如果模型错误解析指代关系,就可能回答另一个语言的调度机制。
3. 上下文过长导致信息利用不足
Context Window 变大,并不代表模型能够同等有效地利用所有位置的信息。
长上下文场景中可能出现:
- 重要信息被大量无关文本淹没。
- 早期约束未被充分利用。
- 分散在不同段落的信息未能正确关联。
- 中间位置的关键信息被忽略。
例如,用户在对话开头明确规定:
项目使用 Java 17,不允许使用 Java 21 特性。
经过大量后续对话后,模型可能生成依赖 Java 21 的代码。
这说明模型虽然接收了早期约束,但未必始终正确地利用它。
4. 指令冲突
模型可能同时收到:
- System Prompt。
- Developer Instruction。
- User Prompt。
- 历史对话。
- 检索文档。
- 工具返回内容。
这些信息可能包含相互矛盾的要求。
如果系统没有合理处理优先级和可信来源,模型可能受到低可信内容干扰。
例如,检索到的网页中包含错误配置,而用户要求严格遵循官方文档,模型却将网页中的错误配置带入回答。
5. 上下文问题的形成过程
flowchart TB
A["用户输入与历史上下文"] --> B["上下文解析"]
B --> C["提取实体、指令和约束"]
C --> D{"信息是否完整且一致"}
D -->|"是"| E["建立任务表示"]
D -->|"否"| F["产生歧义或信息缺失"]
F --> G["错误关联或不完整理解"]
E --> H["模型生成"]
G --> H
H --> I["输出可能偏离真实需求"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
六、解码策略:为什么模型会选择错误答案?
即使模型已经计算出概率分布,最终输出仍然受到采样策略影响。
常见的生成参数包括:
- Temperature。
- Top-K。
- Top-P。
- Repetition Penalty。
- Frequency Penalty。
- Presence Penalty。
这些参数会影响模型选择下一个 Token 的方式。
1. 概率最高不代表事实正确
假设模型对某个问题生成了以下概率分布:
| 候选答案 | 模型概率 |
|---|---|
| 答案 A | 0.70 |
| 答案 B | 0.20 |
| 答案 C | 0.10 |
如果答案 A 实际上是错误的,那么模型即使以 0.70 的概率选择它,也不能证明答案 A 正确。
模型概率反映的是其当前预测分布,而不是经过外部事实核验的真实性。
2. 高 Temperature 可能增加不可靠输出
Temperature 越高,概率分布通常越平缓。
原本低概率的候选 Token 会获得更大的采样机会。
这可能增加:
- 不常见表达。
- 非预期内容。
- 事实错误的组合。
- 不稳定的回答结果。
但不能简单认为高 Temperature 一定产生幻觉。
即使使用 Temperature 为 0 的贪心解码,模型仍可能稳定地输出错误事实。
3. Greedy Decoding 也无法消除幻觉
Greedy Decoding 每一步都选择当前概率最高的 Token:
它减少了采样随机性,但并没有引入事实验证机制。
如果模型认为某个错误答案是最可能的表达,贪心解码仍然会选择它。
因此:
降低随机性可以减少输出波动,但不能从根本上解决事实错误。
七、推理与知识边界:为什么模型会编造不存在的内容?
大模型经常面对超出自身知识范围的问题。
例如:
- 尚未公开的研究结果。
- 最新发生的新闻事件。
- 冷门软件的内部 API。
- 不存在的学术论文。
- 无法访问的私人数据库。
- 用户故意提出的虚构实体。
模型可能没有足够证据回答,但仍然生成一个完整答案。
1. 模型缺少可靠证据时的补全倾向
语言模型经过训练,能够根据上下文生成连贯文本。
当问题要求:
- 人物姓名。
- 具体日期。
- 论文标题。
- 引用来源。
- 技术参数。
模型可能按照这些内容通常出现的语言模式进行补全。
例如:
论文标题:
作者:
发表年份:
研究机构:
核心结论:
即使没有真实论文,模型也可能生成完整的字段内容。
这是一种典型的无依据补全。
2. 不确定性表达不足
模型的内部预测分布与最终自然语言表达之间并不存在天然的一一对应关系。
模型可能在内部存在较大的候选不确定性,但最终仍输出:
该技术由某研究团队于 2022 年正式提出。
用户看到的是确定性陈述,而不是模型对事实缺乏证据的状态。
这会让幻觉更难识别。
3. 缺乏有效的拒答机制
模型如果没有学会在证据不足时拒绝回答,就可能倾向于生成一个看似合理的答案。
理想情况下,模型应该能够区分:
- 已知且有充分依据。
- 有一定依据,但存在不确定性。
- 信息不足,需要进一步检索。
- 无法验证,不应该给出确定结论。
但这种能力需要通过训练、评估、推理策略和外部工具共同实现。
八、推理链错误:为什么模型会产生逻辑幻觉?
大模型能够生成多步骤推理文本,但这不意味着每一步推理都正确。
1. 错误前提会传递到后续结论
假设模型在第一步错误地识别了一个技术版本。
后续推理可能基于这个错误版本继续分析,最终生成一套看似完整的技术方案。
flowchart TB
A["用户提出复杂问题"] --> B["模型解析问题"]
B --> C["建立推理前提"]
C --> D{"前提是否正确"}
D -->|"是"| E["执行后续推理"]
D -->|"否"| F["引入错误假设"]
F --> G["基于错误前提继续推理"]
E --> H["形成结论"]
G --> H
H --> I["输出可能错误的答案"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
2. 复杂推理中的错误累积
多步骤任务通常包含多个中间判断。
假设一个任务包含五个推理步骤,每一步都存在一定的出错概率。
在一个简化假设下,如果每一步独立且正确概率均为 p,那么所有步骤均正确的概率为:
假设每一步正确概率为 0.95,共有 10 个步骤:
即约为 59.9%。
这只是用于说明多步骤误差累积的理想化模型。真实模型的错误通常并不独立,各步骤的正确概率也不相同。
但它揭示了一个重要问题:
复杂任务中的局部错误,可能逐步影响最终结论。
3. 推理文本不等于真实内部计算轨迹
模型生成的解释过程,是模型输出的一部分。
它不一定完整、准确地反映模型内部所有计算活动。
因此,不能仅仅因为模型提供了一段结构严谨的推理说明,就认定其结论已经经过可靠验证。
九、SFT 与偏好对齐为什么不能彻底消除幻觉?
大模型通常不仅进行预训练,还会经过指令微调和偏好对齐。
这些训练阶段能够改善模型的交互能力,但不能保证所有事实都正确。
1. SFT:监督微调
SFT(Supervised Fine-Tuning)使用指令与回答数据训练模型,使模型学习:
- 如何理解用户指令。
- 如何组织回答。
- 如何遵循输出格式。
- 如何进行多轮对话。
- 如何在特定场景下拒绝回答。
但 SFT 依赖训练数据质量。