誰もがAI幻覚訴訟から間違った教訓を学びました。見出しは「AIが偽のケースを発明する」でした。本当の危険はより微妙で捉えにくい：AIが完全に実在するケースの中に偽の引用を発明することです。
誰もが知っている失敗：捏造されたケース
Mata v. Avianca (2023)では、弁護士たちが存在しないいくつかの司法決定を引用した連邦ブリーフを提出しました。引用はChatGPTによって生成され、信じられるようなケース名、報告者番号、そして引用が空から生み出されました。対立する弁護士と裁判所がそのケースを見つけられなかったとき、弁護士たちは制裁を受けました。これは法的実務における生成AIの典型的な警告の物語となり、職業に引用チェックを行うことを教えました。
捏造されたケースは、幸いにも簡単に見つけることができます。調べてみると、そこにはありません。削除します。単一の検索で嘘が明らかになります。
ほとんどの人が見逃す失敗：実際の引用の中の偽の引用
より陰湿なバリエーションを考えてみましょう。ケースは実際です。報告者の引用は正しいです。裁判所、年、当事者 — すべて本物です。しかし、AIがその意見に帰属させる文、引用符で囲まれた保持は、その裁判所によって書かれたことはありません。ツールは実際の文書に基づいて回答をグラウンディングし、そこで見つけたと主張する言語を捏造しました。
なぜこれは偽のケースよりも悪いのか
- •引用は本物であるため、ルーチンの引用チェックを通過します
- •レビュアーはケースが存在することを確認し、次に進みます — 引用は未確認のままです
- •捏造された言語はしばしば、裁判所が言いそうなことのように聞こえます
- •それは提出されたブリーフ、意見、またはクライアントメモにまで生き残る可能性があります
これが「グラウンデッド」またはリトリーバル拡張（RAG）法的AIツールの罠です。モデルを実際のソース文書に基づいてグラウンディングすることで、完全に発明されたケースの可能性は減少しますが、モデルが取得した内容を正確に引用することを保証するものではありません。モデルは、裁判所が使用したことのない言葉に保持を言い換えたり、支持しない命題に対して引用を切り貼りしたりすることができます。
この実際の引用の中の引用パターンは、商業的なグラウンデッドリサーチアシスタントで実際に発生していると報告されています。Thomson ReutersのWestlaw CoCounselに関する報告された例では、U.S. v. Farrisと呼ばれる事案に関連して、ツールが引用された権威の言語と一致しない引用を生成したとされています。私たちはこれを報告された例として提示します：正確なケース名、引用、裁判所、年、または保持を独立して確認していないため、読者はそれらの詳細を確認する必要があります。しかし、パターンはよく文書化されており、パターンこそが、AI出力をレビューする方法を変えるべきものです。
グラウンディングは保証ではない — 証拠
これは周辺的な懸念ではありません。スタンフォードRegLabと人間中心のAI（HAI）からの2024年の研究は、明示的にグラウンデッドで幻覚を軽減するようにマーケティングされた主要な目的特化型法的AI研究ツールを評価し、依然として相当数のクエリで幻覚を見ていることがわかりました。
これらの数字について
スタンフォードRegLab / HAI（2024）の研究は、主要な法的AI研究ツールの幻覚率を約17〜33％の範囲で報告しました。ツールとタスクによって結果が異なるため、単一の見出しの数字ではなく範囲を引用します。正確なツールごとのパーセンテージと方法論については、一次論文を参照してください。
重要な点は「これらのツールは悪い」ということではありません。グラウンディングは幻覚を減少させますが、排除するものではありません。残留物には、正しい引用でありながら、確信を持って、適切にフォーマットされ、引用チェックを通過する危険な種類が含まれています。
AI幻覚引用を含む実際の裁判例の公的な記録を維持している研究者ダミアン・シャルロタンは、これらの事件が裁判所に到達する際に追跡する広く引用されているデータベースを維持しています。これらのエラーがどのくらいの頻度で、そしてプロセスのどの段階まで進むかを確認するための優れたリソースです。私たちはそれを指摘し、重複することはありません。
なぜ単一モデルの自己検証が失敗するのか
本能的な解決策は、同じツールに自分自身をチェックさせることです：「その引用が正確であることを確信していますか？」これはほとんど役に立たず、しばしば状況を悪化させます。
- 引用を捏造したモデルは、その意見の真実の記憶を持っていないため、「確認する」ように求めることは、エラーを生み出した同じパターンマッチングを再実行するだけです。
- 「これが逐語的であることを確認してください」といったプロンプトは、しばしば自信満々のはいを返します — 時には新たに幻覚された支持的な詳細を伴って
- モデルの自信スコアは引用の正確性と相関しないため、リスクのあるものを自己フラグすることはできません。
なぜクロスモデルの不一致がそれを捉えるのか
孤立したグラウンデッドモデルは1つのリトリーバルと1つの引用方法を持っています。複数の独立したモデルはそれぞれ独自にリトリーバルし、引用します。複数のモデルに同じ質問をし、そのうちの1つが他のモデルが再現できない引用を生成した場合、または他のモデルが明示的に支持されていないと評価した場合、その不一致が警告のベルです。
引用に適用される独立性の原則
1つのモデルが実際のケースで「裁判所はXを保持した」と捏造した場合、他のモデルは通常、その意見の同じ引用された言語を再現しません。1つのモデルだけが生成でき、他のモデルが評価を低くする引用は、低い合意の主張として浮上します。見えないエラーを見えるフラグに変えました。これは、一次情報に対して確認すべき引用を示します — これはより高い信頼性のスクリーニングであり、正確性の証拠ではありません。
AI支援法的リサーチのための検証チェックリスト
合意ツールを使用するかどうかにかかわらず、未確認のAI出力を提出しないでください。最低限：
- ケースが存在することを確認してください — しかし、そこで止まらないでください。実際の引用は危険なエラーが隠れている場所です。
- 一次情報を引き出し、文脈の中で引用された言語を読む — AIの要約ではなく、意見そのものに対して逐語的にすべての引用を確認してください。
- 引用が命題を支持していることを確認してください — 実際の引用は、実際には支持していない主張に付随することがあります。
- 独立したモデルとクロスチェックしてください — 1つのモデルだけが生成する引用は調査のフラグであり、提出する事実ではありません。
- 「グラウンデッド」を「確認済み」として扱わないでください — RAGは発明の可能性を低下させますが、チェックする義務を取り除くものではありません。
独立したモデル間の合意は、引用が本物であるという信頼性を高めます。これは証明するものではありません。一次情報が依然として権威です — AIはそれをより早く見つける手助けをし、モデルが不一致である場所を教えるために存在します。
よくある質問
ほとんどの人が見落とす法的AIの失敗とは何ですか？
誰もが知っている偽のケースではなく、実際の引用の中に隠された捏造された引用です — 引用は存在し、引用チェックを通過しますが、引用された言葉は意見の中には存在しませんでした。
なぜ単一モデルの自己チェックでは偽の引用を見抜けないのですか？
引用が実際のものであるため、自己検証によってその事例が存在することが確認され、そこで止まります。モデルには意見が実際に何を言ったのかの独立した記録はありません。
なぜクロスモデル比較は捏造された引用を捉えるのか？
異なるリトリーバルに基づく独立したモデルは、同じ引用を作り出すことはほとんどないため、彼らの不一致は単一のモデルが確認するであろう捏造を浮き彫りにします。