人工智能模型可以自信地陈述完全错误的信息——而且没有内部信号表明出现了问题。这被称为幻觉，是人工智能辅助研究中最大的挑战之一。
问题：自信的胡说八道
当你要求一个人工智能模型验证一个声明时，它并不会检查事实数据库。它根据训练数据中的模式生成一个听起来合理的响应。有时这些模式会导致捏造：
- 虚假引用： 不存在的学术论文（Mata诉Avianca案涉及虚假的案例法）
- 虚构统计： “研究表明80%的专家同意……”没有来源
- 自信的错误： 听起来合理但完全错误的技术解释
为什么“你确定吗？”不起作用
对不确定性的自然反应是要求人工智能自我验证。但这并没有帮助：
自我验证失败
- •“你确定吗？” → 通常以更自信的方式重复同样的错误
- •“验证这个” → 可能生成支持性的幻觉
- •“检查你的来源” → 可能会捏造更多虚假引用
- •信心评分 → 与准确性无关
该模型没有真实的参考依据可供检查。它仍然是在进行模式匹配，只是有一个提示要求它对其模式匹配更加自信。
解决方案：跨模型验证
不同的人工智能模型以不同的方式产生幻觉。它们具有不同的训练数据、不同的架构和不同的知识截止日期。当一个模型捏造一个声明时，其他模型通常不会犯同样的错误。
独立原则
如果GPT捏造了一个引用，Claude不会“继承”这个错误——它会根据自己的训练重新评估该声明。这种独立性使得交叉验证有效。五个模型达成一致意味着五个独立系统得出了相同的结论。
跨模型检测的工作原理
1
独立生成
每个人工智能模型在不查看其他模型的响应的情况下回答相同的问题
2
交叉评分
每个模型对每个其他模型的每个论点进行评分
3
分歧检测
多个模型评分较低的声明被标记
4
共识评分
高一致性 = 更高的信心；分歧 = 需要调查
何时使用幻觉检测
跨模型验证在以下情况下最有价值：
- 应可验证的事实声明
- 引用和参考
- 统计数据和定量声明
- 历史事件和技术细节
对于没有“真实依据”可供验证的基于意见或创意的任务，相关性较低。
需要理解的局限性
跨模型验证并不完美：
- 共享偏见： 所有模型可能从相似的训练数据中学习到了相同的错误
- 知识空白： 最近的事件可能超出了所有模型的训练截止日期
- 领域专业知识： 所有模型可能在专业领域缺乏知识
跨模型共识显著降低了错误概率，但并不能消除对高风险声明进行人工验证的必要性。
常见问题解答
什么是AI幻觉？
当一个模型自信地陈述完全错误的信息，而没有任何内部信号表明有问题时——这是AI辅助研究中最大的挑战之一。
为什么问模型“你确定吗？”无法捕捉到幻觉？
因为单一模型没有可靠的内部信号来指示其自身的错误；自我检查可能会重复同样的错误。该帖子提出了跨模型验证作为解决方案。
跨模型幻觉检测是如何工作的？
独立查询多个模型，让它们相互评估对方的答案，并标记出分歧。不同的模型会产生不同的幻觉，因此当一个模型编造信息时，其他模型通常会发现这一点。