人工智能,尤其是以大语言模型为代表的生成式 AI,正在展现出越来越强的语言理解、内容生成、代码编写和复杂任务处理能力。
但能力增强并不意味着模型已经具备可靠的事实判断能力,也不意味着模型能够完全理解自身的决策过程。
在实际应用中,人工智能仍然面临几个重要问题:
- 幻觉(Hallucination):模型生成了看似合理、实际上不准确或不存在的信息。
- 偏见(Bias):模型在输出中表现出不公平、片面或具有歧视性的倾向。
- 可解释性(Interpretability / Explainability):模型为什么得出某个结果,以及人类能否理解和验证其决策过程。
这些问题不仅影响模型的准确性,也直接关系到 AI 系统的安全性、可信度和工程落地能力。
本文从技术原理出发,分析人工智能的能力边界,以及当前主流技术如何缓解这些问题。
一、人工智能的能力边界是什么?
人工智能的能力边界,是指模型在知识、推理、事实判断、决策和结果解释等方面存在的限制。
一个模型能够生成流畅的语言,并不代表它掌握了所有相关事实;能够完成复杂推理,也不代表每一步推理都正确;能够解释自己的回答,也不代表解释完整反映了模型内部的计算过程。
1.1 能力表现与真实能力不是一回事
以大语言模型为例,它可以:
| 能力 | 典型表现 | 潜在限制 |
|---|---|---|
| 语言生成 | 撰写文章、回答问题 | 语言流畅不代表事实准确 |
| 知识表达 | 解释技术概念 | 知识可能过时、不完整或错误 |
| 逻辑推理 | 分析条件、解决问题 | 复杂推理可能出现中间步骤错误 |
| 代码生成 | 编写程序、修复代码 | 代码可能存在逻辑缺陷或安全漏洞 |
| 信息总结 | 总结文档和资料 | 可能遗漏关键条件或歪曲原意 |
| 决策辅助 | 比较方案、提出建议 | 依赖输入质量和目标设定 |
| 自我解释 | 说明回答依据 | 解释不一定忠实反映内部机制 |
1.2 为什么模型会存在能力边界?
大语言模型的核心训练目标通常是根据已有上下文预测下一个 Token。
其自回归概率建模可以表示为:
模型通过大量数据学习语言结构、知识关联和上下文模式,并在生成时逐步预测后续 Token。
但这个目标本身并不直接等价于:
- 验证每一个事实是否真实。
- 判断每一个信息来源是否可信。
- 保证每一步逻辑推理都正确。
- 识别所有潜在的社会偏见。
- 完整解释内部神经网络的决策过程。
因此,语言建模能力与事实验证能力、可靠推理能力之间存在区别。
1.3 三类核心问题
本文重点讨论三个相互关联但并不相同的问题。
| 问题 | 核心矛盾 | 主要影响 |
|---|---|---|
| 幻觉 | 生成内容与真实事实不一致 | 事实可靠性 |
| 偏见 | 输出受到数据和建模过程中的不公平倾向影响 | 公平性与社会影响 |
| 可解释性 | 模型内部决策过程难以被人类理解和验证 | 透明度与可审计性 |
二、什么是 AI 幻觉?
2.1 幻觉的定义
AI 幻觉是指模型生成了与事实不符、缺乏可靠依据,或者与输入材料不一致的内容,却以看似合理、确定的方式表达出来。
例如:
- 虚构不存在的论文、作者或参考文献。
- 编造不存在的 API、配置参数或技术特性。
- 给出错误的法律条款、政策规定或统计数据。
- 对用户提供的文档进行总结时,加入原文不存在的信息。
- 对一个没有明确答案的问题,给出过于确定的结论。
需要注意,幻觉不一定意味着整段回答都是错误的。
有时模型的大部分内容正确,只有一个关键事实、数字、名称或逻辑关系存在错误。这种局部错误在专业场景中也可能造成严重后果。
2.2 幻觉为什么会发生?
幻觉并非单一原因造成,而是与模型训练目标、知识表达方式、上下文质量和生成机制等因素有关。
1. 语言建模目标不等于事实验证
模型的训练目标通常是提高下一个 Token 的预测能力。
在训练过程中,模型学习的是数据中的统计规律和关联关系,而不是像数据库系统一样,对每一条事实进行独立存储和实时验证。
例如,模型可能学习到:
- 某个技术概念通常与某个框架一起出现。
- 某个领域经常使用某种 API。
- 某类问题通常采用某种解决方案。
当上下文不足时,模型可能根据这些关联生成一个看似合理、但实际上并不存在的技术细节。
关键区别:预测一个合理的表达,与验证一个真实的事实,是两种不同的能力。
2. 参数化知识存在局限
大语言模型通过训练将知识和语言模式编码到模型参数中。
这种知识表达具有几个特点:
- 分布式存储:知识并非以传统数据库记录的形式保存。
- 隐式表达:知识通常分散在参数和中间表示中。
- 更新成本:模型参数中的知识不会自动随外部世界变化。
- 检索不确定性:模型不一定能够在所有上下文中准确激活相关知识。
例如,模型可能知道某个软件框架的常见使用方式,但无法准确判断某个 API 是否在最新版本中发生了变化。
3. 上下文信息不足
模型生成结果高度依赖输入上下文。
当用户提供的信息不完整、存在歧义,或者问题本身缺少必要条件时,模型可能尝试补全缺失信息。
例如:
用户询问:
某个系统的接口为什么返回 500?
如果没有提供日志、代码、请求参数和运行环境,模型无法确定真正原因。
但模型仍然可能根据常见故障模式给出一个具体解释。
此时,回答可能只是合理猜测,并不是经过验证的根因分析。
4. 生成过程具有随机性
大语言模型通常先计算候选 Token 的概率分布,再根据解码策略生成内容。
设模型输出的 Logits 为:
经过 Softmax 得到概率分布:
其中:
- V:词表大小。
- z_i:第 i 个 Token 对应的 Logit。
- P(x_i):对应 Token 的生成概率。
Temperature 可以调整概率分布:
较高的 Temperature 通常会使概率分布更加平缓,增加生成多样性;较低的 Temperature 通常会使分布更加集中。
但需要明确:
降低 Temperature 并不能从根本上消除幻觉。
因为模型即使以确定性方式生成,也可能稳定地生成错误事实。
5. 长文本生成中的误差累积
自回归模型逐步生成 Token,后续内容依赖已经生成的上下文。
如果前面某个关键事实出现错误,后续内容可能继续基于这个错误展开。
例如:
- 第一步:错误地判断某个 API 存在。
- 第二步:根据这个 API 编写调用代码。
- 第三步:围绕这段代码解释参数和返回值。
- 第四步:进一步编造错误的异常处理方式。
最终得到一段结构完整、逻辑看似连贯,但基础事实错误的回答。
2.3 幻觉的常见类型
| 类型 | 具体表现 | 示例 |
|---|---|---|
| 事实幻觉 | 事实内容错误 | 错误描述某项技术的发布时间 |
| 引用幻觉 | 参考资料不存在 | 虚构论文、作者、链接 |
| 实体幻觉 | 人名、机构或产品信息错误 | 编造不存在的产品功能 |
| 逻辑幻觉 | 推理过程存在错误 | 根据不成立的前提得出结论 |
| 上下文幻觉 | 与输入材料不一致 | 总结文档时添加原文没有的内容 |
| 代码幻觉 | 生成不存在或错误的接口 | 使用不存在的函数或参数 |
2.4 幻觉与模型知识截止的关系
模型知识截止(Knowledge Cutoff)是指模型训练知识所覆盖的时间范围存在限制。
模型可能无法掌握训练数据截止时间之后发生的事件。
例如:
- 新发布的软件版本。
- 新增的编程语言特性。
- 最新的安全漏洞。
- 最新的法律法规。
- 最新的产品价格和服务政策。
知识截止与幻觉不是同一个概念。
模型不知道最新信息,不一定会产生幻觉;但当模型试图回答自己并不掌握的问题时,就可能生成未经验证的信息。
因此,不能仅依靠模型参数中的知识解决所有实时信息问题。
三、如何降低 AI 幻觉?
幻觉无法通过单一参数或单一技术彻底解决,通常需要从模型、数据、检索、工具和应用架构多个层面进行控制。
3.1 优化提示词与输入约束
通过提示词明确模型的回答边界。
例如:
- 只根据提供的材料回答。
- 无法确认的信息明确标注为未知。
- 不要虚构参考资料、接口或数据。
- 对事实性结论提供依据。
- 区分已知事实、推测和建议。
这种方法可以改善模型行为,但不能保证模型一定遵守约束。
提示词属于行为引导,不等同于事实验证机制。
3.2 使用 RAG 检索增强生成
RAG(Retrieval-Augmented Generation,检索增强生成)通过引入外部知识源,为模型提供与问题相关的参考材料。
其基本流程如下:
flowchart TB
A["用户提出问题"] --> B["问题理解与处理"]
B --> C["向量化或关键词检索"]
C --> D["从知识库检索相关内容"]
D --> E["相关性过滤与重排序"]
E --> F["构建增强上下文"]
F --> G["大语言模型生成回答"]
G --> H["输出答案与引用依据"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
RAG 的核心价值是让模型在回答问题时能够参考外部信息,而不只是依赖参数化知识。
但 RAG 并不意味着回答必然正确。
它仍然可能受到以下问题影响:
- 知识库本身包含错误信息。
- 检索阶段没有找到正确资料。
- 检索结果与问题相关,但无法支持最终结论。
- 文档切分导致上下文不完整。
- 模型错误理解或使用检索内容。
- 引用位置与实际结论不匹配。
因此,RAG 解决的是知识获取和上下文补充问题,而不是自动完成事实验证。
3.3 使用工具调用获取外部事实
Tool Calling 可以让模型调用外部系统,而不是完全依赖内部生成。
例如:
- 调用搜索引擎获取最新信息。
- 调用数据库查询真实记录。
- 调用计算器执行精确计算。
- 调用代码执行环境验证程序。
- 调用企业内部 API 获取业务数据。
典型流程:
flowchart TB
A["用户提出任务"] --> B["模型分析任务"]
B --> C["判断是否需要外部工具"]
C --> D["生成工具调用参数"]
D --> E["外部工具执行"]
E --> F["返回真实执行结果"]
F --> G["模型分析工具结果"]
G --> H["组织最终回答"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,工具调用也存在风险。
模型可能生成错误参数、选择错误工具,或者误解工具返回结果。因此,工具本身的输入校验、权限控制和执行结果验证仍然不可缺少。
3.4 引入事实校验机制
对于重要信息,可以在生成之后增加独立的验证环节。
例如:
- 检查引用是否真实存在。
- 检查数字是否能够通过计算复现。
- 检查代码是否能够编译和运行。
- 检查结论是否能够从参考文档中推导出来。
- 检查输出是否违反业务规则。
一个典型的验证架构:
flowchart TB
A["模型生成初始答案"] --> B["提取关键事实与结论"]
B --> C["检索权威来源"]
C --> D["逐项核对事实"]
D --> E{"是否存在不一致"}
E -->|"是"| F["修正或删除不可靠内容"]
E -->|"否"| G["保留已验证内容"]
F --> H["输出最终答案"]
G --> H
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
对于金融、医疗、法律、工业控制等高风险场景,还需要结合专业规则、人工审核和审计机制。
四、什么是 AI 偏见?
4.1 偏见的定义
AI 偏见(AI Bias)是指人工智能系统在数据处理、模型训练、预测或决策过程中,表现出系统性的倾向性,使不同群体或不同类型的输入受到不公平、不合理的影响。
偏见不一定表现为明显的歧视性语言。
它也可能表现为:
- 对某些群体的识别准确率明显更低。
- 对不同人群采用不一致的判断标准。
- 在招聘、信贷等场景中产生不公平的筛选结果。
- 对某些语言、文化和地区的信息覆盖不足。
- 对特定观点进行系统性忽略或放大。
4.2 AI 偏见从哪里产生?
AI 偏见通常不是单纯由模型算法产生的,而是可能贯穿整个 AI 系统生命周期。
1. 数据偏见
训练数据无法全面、均衡地反映真实世界。
常见情况:
- 某些群体的数据数量明显不足。
- 数据主要来自特定地区或文化环境。
- 历史数据中本身存在社会不平等。
- 样本采集方式导致某些群体被忽略。
- 数据标签存在主观判断或标注错误。
例如,一个人脸识别系统主要使用某一类人群的图像训练,可能导致模型在其他人群上的识别性能下降。
这属于数据分布不均衡带来的典型问题。
2. 标签偏见
监督学习依赖数据标签。
但标签不一定是客观事实,也可能受到标注者认知和历史规则影响。
例如,招聘数据中使用历史录用结果作为训练标签。
如果过去的招聘决策存在性别偏见,那么模型可能学习并延续这种历史模式。
模型最终优化的是对历史标签的拟合能力,并不意味着历史标签本身公平。
3. 算法与目标函数偏见
模型训练通常需要优化某种目标函数。
例如:
其中:
- \theta:模型参数。
- L(\theta):训练损失函数。
如果优化目标只关注整体预测准确率,就可能忽略不同群体之间的性能差异。
例如:
一个分类模型在群体 A 上的准确率为 98%,在群体 B 上的准确率为 80%。
如果只观察整体准确率,可能无法发现模型对群体 B 的明显性能退化。
因此,单一的整体指标并不能充分反映模型的公平性。
4. 特征选择偏见
某些特征看起来与目标无关,但可能间接反映敏感属性。
例如:
- 居住地区可能与社会经济背景相关。
- 教育经历可能受到地区资源差异影响。
- 消费记录可能与收入水平存在关联。
- 职业经历可能与性别或年龄结构存在关联。
即使模型没有直接使用性别、种族等敏感属性,也可能通过其他相关特征间接学习到类似信息。
这种现象通常涉及代理变量(Proxy Variables)。
5. 部署环境偏见
模型在训练数据上表现良好,并不代表在真实环境中也具有相同性能。
例如:
- 训练数据来自城市,实际应用于农村。
- 训练数据来自白天,实际应用于夜间。
- 训练数据来自某一地区,实际应用于其他国家。
- 训练数据来自旧版本业务流程,实际业务规则已经改变。
当实际输入分布与训练数据分布发生变化时,模型可能出现性能下降。
这通常涉及分布偏移(Distribution Shift)。
4.3 AI 偏见的主要类型
| 偏见类型 | 核心含义 | 典型表现 |
|---|---|---|
| 历史偏见 | 历史数据包含已有的不公平现象 | 延续过去的不公平决策 |
| 样本偏见 | 数据样本不能代表目标人群 | 部分群体识别效果较差 |
| 标签偏见 | 标签受到主观判断影响 | 训练结果继承错误标签 |
| 测量偏见 | 不同群体的数据测量质量不同 | 某些群体数据存在系统误差 |
| 选择偏见 | 数据进入样本的方式不合理 | 训练样本缺少特定群体 |
| 算法偏见 | 优化目标或模型设计忽略公平性 | 整体指标好但群体差异明显 |
| 部署偏见 | 训练环境与实际环境不同 | 上线后部分群体性能下降 |
4.4 AI 偏见与公平性
AI 公平性(Fairness)是研究不同个体或群体是否受到合理、一致待遇的重要方向。
但公平性并不是一个单一指标。
不同公平性定义可能关注不同目标。
1. 人口统计均等(Demographic Parity)
要求不同群体获得正向预测结果的比例相近。
设:
- A:群体属性。
- \hat{Y}:模型预测结果。
其约束可以表示为:
例如,不同群体的贷款通过率相同。
但这种指标不一定考虑不同群体真实风险水平是否存在差异。
2. 机会均等(Equal Opportunity)
要求不同群体中,真实正样本被正确识别的概率相同。
例如,对于真实符合贷款条件的人,不同群体获得批准的机会应该相近。
3. 均衡错误率(Equalized Odds)
要求不同群体的真正率和假正率分别相近。
其中 y 分别取 0 和 1。
它同时关注:
- True Positive Rate(真正率)。
- False Positive Rate(假正率)。
4. 为什么公平性指标可能存在冲突?
不同公平性定义关注的目标不同。
在真实数据中,当不同群体的基础发生率(Base Rate)不同,且模型预测并非完美时,人口统计均等、均衡错误率以及预测结果的校准等目标可能无法同时满足。
因此,不能简单地认为某个公平性指标达到要求,就代表整个 AI 系统绝对公平。
公平性评估必须结合具体应用场景、法律要求、业务目标和潜在社会影响。
五、如何降低 AI 偏见?
降低偏见需要覆盖数据、模型、评估和部署的整个生命周期。
5.1 数据层面
重点是提高数据代表性和数据质量。
主要措施:
- 检查不同群体的样本数量和分布。
- 识别缺失数据与异常数据。
- 审核标签标准和标注流程。
- 检查历史数据中的不公平模式。
- 对不同群体分别评估数据质量。
- 避免将未经验证的历史决策直接作为正确标签。
5.2 模型层面
可以通过算法设计和训练目标改善公平性。
常见方法:
| 方法 | 核心思想 |
|---|---|
| 重采样 | 调整不同群体的数据比例 |
| 重加权 | 为不同样本设置不同训练权重 |
| 公平性约束 | 在训练目标中加入公平性约束 |
| 对抗去偏 | 降低模型表示中敏感属性的可预测性 |
| 阈值调整 | 根据业务与公平性要求调整决策阈值 |
| 后处理 | 对模型输出进行公平性校正 |
需要注意,去除敏感属性并不等于消除偏见。
如果模型仍然可以通过代理变量推断敏感属性,那么偏见仍可能存在。
5.3 评估层面
不能只关注整体准确率。
还应该对不同群体分别计算:
- Accuracy:准确率。
- Precision:精确率。
- Recall:召回率。
- FPR:假正率。
- FNR:假负率。
- Calibration:概率校准情况。
例如:
| 评估对象 | 准确率 | 召回率 | 假正率 |
|---|---|---|---|
| 群体 A | 96% | 95% | 3% |
| 群体 B | 95% | 78% | 12% |
从整体准确率来看,两个群体的表现差异并不明显。
但群体 B 的召回率明显更低,假正率明显更高。
这说明整体指标可能掩盖重要的群体性能差异。
5.4 部署层面
模型上线之后仍然需要持续监控。
包括:
- 监控输入数据分布变化。
- 定期评估不同群体的模型表现。
- 记录模型版本与决策结果。
- 建立异常反馈和申诉机制。
- 对高风险决策保留人工复核。
- 在业务规则或数据发生变化时重新评估模型。
公平性不是训练结束时的一次性检查,而是贯穿模型生命周期的持续治理工作。
六、什么是 AI 可解释性?
6.1 可解释性的定义
AI 可解释性(Explainability)是指通过一定的方法,让人类理解模型的输入、处理过程、输出结果,以及模型为什么作出某种预测或决策。
可解释性主要解决一个问题:
模型为什么会得出这个结果?
例如:
一个信用评估模型判断某用户存在较高违约风险。
仅仅知道预测结果是不够的。
我们还希望知道:
- 哪些输入特征影响了预测?
- 哪些因素提高了风险评分?
- 哪些因素降低了风险评分?
- 模型是否受到异常数据影响?
- 预测结果是否符合业务规则?
6.2 为什么深度学习模型难以解释?
传统机器学习模型中,某些算法具有相对直观的决策过程。
例如:
- 线性回归:可以观察各特征的系数。
- 决策树:可以查看具体的决策路径。
- 规则系统:可以直接阅读规则条件。
但深度神经网络通常包含大量参数和多层非线性变换。
以神经网络为例:
其中:
- h^{(l)}:第 l 层的隐藏表示。
- W^{(l)}:该层权重矩阵。
- b^{(l)}:偏置项。
- f:非线性激活函数。
随着网络层数增加,输入信息经过多次变换,最终得到模型输出。
问题在于:
- 单个参数通常没有直观的人类语义。
- 特征之间存在复杂的非线性交互。
- 信息可能分布在多个神经元和层级中。
- 相同输出可能由不同内部路径产生。
- 模型内部表示很难直接映射到人类概念。
对于大语言模型,情况更加复杂。
一个 Token 的生成结果,可能受到以下因素共同影响:
- 当前输入上下文。
- Token Embedding。
- 多层 Attention。
- 前馈网络。
- 残差连接。
- 模型参数。
- 输出概率分布。
- 解码策略。
因此,不能简单地将某一个神经元或某一组参数解释为一个明确的知识概念。
6.3 可解释性与透明度的区别
两者有关联,但不是同一个概念。
| 概念 | 关注重点 | 示例 |
|---|---|---|
| 透明度(Transparency) | 系统信息是否公开 | 公布模型结构、训练数据说明 |
| 可解释性(Explainability) | 是否能够说明结果产生的原因 | 分析哪些特征影响了预测 |
| 可理解性(Understandability) | 人类是否能够理解系统行为 | 使用直观规则描述决策过程 |
| 可审计性(Auditability) | 是否能够检查和追踪系统行为 | 保存输入、输出、模型版本和操作记录 |
一个模型可以公开参数规模和网络结构,但仍然很难解释具体输出。
同样,一个模型可以提供某种解释报告,但如果缺少日志和版本记录,也可能难以完成完整审计。
七、主流 AI 可解释性技术
可解释性研究通常分为两类:
- 内生可解释(Intrinsic Interpretability):模型本身具有相对容易理解的结构。
- 事后解释(Post-hoc Explainability):模型训练完成后,通过额外技术解释其行为。
7.1 特征重要性(Feature Importance)
特征重要性用于衡量不同输入特征对模型预测结果的影响程度。
例如,一个信用风险模型可能使用以下特征:
- 收入水平。
- 负债比例。
- 历史逾期次数。
- 工作年限。
- 贷款金额。
模型可以输出各特征的重要性排序。
但需要注意:
特征重要性通常表示模型对特征的依赖程度,不等于特征对现实结果的因果影响。
如果两个特征高度相关,重要性可能在它们之间分散或发生变化。
7.2 LIME
LIME(Local Interpretable Model-agnostic Explanations)是一种模型无关的局部解释方法。
核心思想是:
在某个待解释样本附近生成扰动样本,观察复杂模型的预测变化,再使用一个简单模型近似原模型在局部区域内的行为。
其目标可以抽象为:
其中:
- f:原始复杂模型。
- g:用于解释的简单模型。
- G:可解释模型集合。
- \pi_x:样本 x 附近的局部权重。
- L:局部近似误差。
- \Omega(g):解释模型复杂度惩罚项。