每个人都从AI幻觉诉讼中学到了错误的教训。头条是“AI发明虚假案件。”真正的危险更微妙，更难以捕捉：AI在完全真实的案件中发明虚假的引文。
每个人都知道的失败：伪造案件
在Mata诉Avianca（2023）中，律师提交了一份联邦简报，引用了几项根本不存在的司法裁决。这些引用是由ChatGPT生成的，产生了看似合理的案件名称、报告编号和引文。当对方律师和法院无法找到这些案件时，律师们被制裁。这成为了生成AI在法律实践中的经典警示故事——并教会了这个行业进行引用检查。
伪造案件是幸运地容易被发现的。你查找它；它不存在；你删除它。一次查找就揭露了谎言。
大多数人忽视的失败：真实引用中的虚假引文
现在考虑一个更阴险的变体。案件是真实的。报告引用是正确的。法院、年份、当事人——都是真实的。但是AI归属给该意见的句子，它放在引号中的引用持有，从未由该法院撰写。该工具基于真实文档构建了它的答案，然后伪造了它声称在其中找到的语言。
为什么这比虚假案件更糟
- •引用是真实的，因此它通过常规引用检查
- •审阅者确认案件存在并继续——引文未被验证
- •伪造的语言往往听起来像是法院会说的
- •它可以一直存活到提交的简报、意见或客户备忘录中
这就是“基础”或检索增强（RAG）法律AI工具的陷阱。将模型基于真实源文档可以减少完全虚构案件的几率——但它并不保证模型准确引用其检索到的内容。它仍然可以将持有的内容改写成法院从未使用过的语言，或者将一个段落中的引文拼接到一个它并不支持的命题上。
这种在真实引用中的引文模式据报道在商业基础研究助手中出现。在一个涉及汤森路透的Westlaw CoCounsel的报告示例中——与被称为美国诉Farris的事项相关——该工具据说生成的引文与引用的权威语言不匹配，尽管基础引用是真实的。我们仅将此作为报告的例子：我们尚未独立确认确切的案件名称、引用、法院、年份或持有，读者在依赖这些细节之前应进行验证。然而，这一模式是有据可查的——而且正是这种模式，而不是任何单一的轶事，应该改变你审查AI输出的方式。
基础并不是保证——证据
这不是一个边缘问题。2024年斯坦福RegLab和人本中心AI研究所（HAI）的研究评估了领先的专用法律AI研究工具——那些明确标榜为基础和减轻幻觉的工具——并发现它们在相当一部分查询中仍然产生幻觉。
关于这些数字
斯坦福RegLab / HAI（2024）的研究报告了领先法律AI研究工具的幻觉率，大约在17–33%的范围内，具体取决于工具和任务。我们引用这个范围而不是单一的头条数字，因为结果因工具和查询类型而异——有关每个工具的确切百分比和方法，请查阅主要论文。
要点不是“这些工具不好。”而是基础减少了幻觉，但并未消除它，而残留的正是这种危险的变体：自信、格式良好、通过引用检查的错误引文。
对于涉及AI幻觉引用的真实法院案件的持续公共记录，研究员Damien Charlotin维护着一个广泛引用的数据库，跟踪这些事件在进入法院时的情况。这是一个很好的资源，可以看到这些错误出现的频率——以及它们在流程中走得多远。我们指向它，而不是重复它。
为什么单模型自我验证失败
本能的解决办法是要求同一工具自我检查：“你确定这个引文是准确的吗？”这很少有帮助，往往会使事情变得更糟。
- 伪造引文的模型对意见没有真实的记忆——要求它“验证”只是重新运行产生错误的相同模式匹配
- 像“确认这是逐字的”这样的提示经常返回一个自信的是——有时还带有一个新产生的支持细节
- 模型的置信度评分与引文的准确性无关，因此它无法自我标记出风险引文
为什么跨模型不一致可以捕捉到它
一个孤立的基础模型只有一个检索和一种引用方式。多个独立模型各自检索并引用。当你向几个模型提出相同的问题，而其中一个模型生成了其他模型无法重现的引文——或者其他模型明确评估为不支持的引文——这种不一致就是警报。
独立原则，应用于引文
如果一个模型在真实案件中伪造了“法院认为X”，其他模型——基于它们自己对同一意见的检索——通常不会重现那种确切的伪造语言。只有一个模型能够生成的引文，以及其他模型评估较差的引文，浮现为低共识的主张。你将一个看不见的错误变成了一个可见的标记。这标志着一个值得与主要来源核对的引文——这是一个更高置信度的筛选，而不是准确性的证明。
AI辅助法律研究的验证清单
无论你是否使用共识工具，绝不要提交未经验证的AI输出。至少：
- 确认案件存在——但不要止步于此；真实的引用是危险错误隐藏的地方
- 提取主要来源并在上下文中阅读引用的语言——逐字验证每个引文与意见本身，而不是与AI的摘要
- 检查引文是否支持该命题——真实的引文可以附加到一个它实际上并不支持的主张上
- 与独立模型交叉检查——只有一个模型生成的引文是一个调查的标志，而不是一个要提交的事实
- 绝不要将“基础”视为“已验证”——RAG降低了发明的几率；它并没有消除你检查的责任
独立模型之间的一致性提高了你对引文真实的信心。它并不能证明这一点。主要来源仍然是权威——AI只是帮助你更快找到它，并告诉你模型之间的分歧。
常见问题解答
大多数人忽视的法律人工智能失败是什么？
不是大家都知道的假案例，而是一个伪造的引用，藏在一个真实的引文中——这个引文存在并通过了引用检查，但被引用的话从未出现在意见中。
为什么单模型自检无法识别假报价？
因为引用是真实的，自我验证确认案件存在并止于此；模型没有独立记录该意见实际内容。
为什么跨模型比较会捕捉到伪造的引用？
基于不同检索的独立模型很少会发明相同的引用，因此它们的分歧揭示了单一模型会确认的虚构。