Tutti hanno appreso la lezione sbagliata dalle cause legali per allucinazione dell'AI. Il titolo era "L'AI inventa casi falsi." Il vero pericolo è più sottile e difficile da cogliere: l'AI che inventa false citazioni all'interno di casi che sono completamente reali.
Il fallimento che tutti conoscono: casi fabbricati
In Mata v. Avianca (2023), gli avvocati hanno presentato un documento federale citando diverse decisioni giudiziarie che semplicemente non esistevano. Le citazioni erano state generate da ChatGPT, che ha prodotto nomi di casi, numeri di reporter e citazioni dall'aria. Quando il legale avversario e il tribunale non sono riusciti a trovare i casi, gli avvocati sono stati sanzionati. È diventata la storia esemplare di avvertimento sull'IA generativa nella pratica legale — e ha insegnato alla professione a effettuare un controllo delle citazioni.
Un caso fabbricato è, fortunatamente, facile da individuare. Lo cerchi; non c'è; lo cancelli. Una sola ricerca svela la menzogna.
Il fallimento che la maggior parte delle persone ignora: citazioni false in citazioni reali
Ora considera una variante più insidiosa. Il caso è reale. La citazione del reporter è corretta. Il tribunale, l'anno, le parti — tutto genuino. Ma la sentenza che l'IA attribuisce a quell'opinione, il provvedimento citato che mette tra virgolette, non è mai stata scritta da quel tribunale. Lo strumento ha basato la sua risposta su un documento reale e poi ha fabbricato un linguaggio che afferma di aver trovato lì.
Perché questo è peggio di un caso falso
- •La citazione è reale, quindi supera un controllo di citazione di routine
- •Un revisore conferma che il caso esiste e passa oltre — la citazione rimane non verificata
- •La lingua fabbricata spesso suona come qualcosa che direbbe il tribunale.
- •Può sopravvivere fino a un breve depositato, un parere o un promemoria per il cliente.
Questa è la trappola degli strumenti legali di intelligenza artificiale "grounded" o potenziati da recupero (RAG). Fondare un modello su documenti sorgente reali riduce le probabilità di un caso completamente inventato — ma non garantisce che il modello citi accuratamente ciò che ha recuperato. Può comunque parafrasare una decisione in parole che il tribunale non ha mai usato, o unire una citazione da un passaggio a una proposizione che non supporta.
Questo schema di citazioni in citazioni reali è stato segnalato in pratica con assistenti di ricerca commerciali e concreti. In un esempio riportato che coinvolge il Westlaw CoCounsel di Thomson Reuters — discusso in relazione a una questione denominata U.S. v. Farris — si dice che lo strumento abbia prodotto citazioni che non corrispondevano al linguaggio dell'autorità citata, anche se la citazione sottostante era genuina. Presentiamo questo solo come un esempio riportato: non abbiamo confermato in modo indipendente il nome esatto del caso, la citazione, il tribunale, l'anno o la decisione, e i lettori dovrebbero verificare quei dettagli prima di fare affidamento su di essi. Il modello, tuttavia, è ben documentato — ed è il modello, non un singolo aneddoto, che dovrebbe cambiare il modo in cui esamini l'output dell'IA.
La messa a terra non è una garanzia — le prove
Questo non è un problema marginale. Uno studio del 2024 del Stanford RegLab e dell'Istituto per l'Intelligenza Artificiale Centrata sull'Umano (HAI) ha valutato i principali strumenti di ricerca legale basati sull'IA progettati per questo scopo — quelli esplicitamente commercializzati come fondati e mitigati contro le allucinazioni — e ha scoperto che continuavano a generare allucinazioni su una quota significativa di query.
Informazioni su queste cifre
Il lavoro del Stanford RegLab / HAI (2024) ha riportato tassi di allucinazione per i principali strumenti di ricerca legale-AI in un intervallo di circa 17–33%, a seconda dello strumento e del compito. Citiamo l'intervallo piuttosto che un singolo numero principale perché i risultati variavano in base allo strumento e al tipo di query — per percentuali esatte per strumento e metodologia, consultare il documento principale.
Il messaggio non è "questi strumenti sono cattivi." È che il grounding riduce l'allucinazione ma non la elimina, e il residuo include esattamente la varietà pericolosa: citazioni sicure, ben formattate e che superano il controllo delle fonti, ma che sono sbagliate.
Per un registro pubblico in corso di casi giudiziari reali che hanno coinvolto citazioni generate da allucinazioni dell'IA, il ricercatore Damien Charlotin mantiene un database ampiamente citato che tiene traccia di questi incidenti man mano che arrivano nei tribunali. È una risorsa eccellente per vedere con quale frequenza — e quanto lontano nel processo — questi errori si diffondono. Facciamo riferimento a esso piuttosto che duplicarlo.
Perché la verifica autonoma a modello singolo fallisce
La soluzione istintiva è chiedere allo stesso strumento di controllarsi: "Sei sicuro che quella citazione sia accurata?" Questo raramente aiuta e spesso peggiora le cose.
- Il modello che ha generato la citazione non ha una memoria di verità di base dell'opinione — chiedergli di "verificare" ripete semplicemente lo stesso schema di corrispondenza che ha prodotto l'errore.
- I prompt come "conferma che questo è parola per parola" restituiscono frequentemente un sì sicuro — a volte con un dettaglio di supporto appena allucinato.
- Il punteggio di fiducia di un modello non è correlato all'accuratezza delle citazioni, quindi non può segnalare autonomamente quelle a rischio.
Perché il disaccordo tra modelli lo cattura
Un modello isolato ha un recupero e un modo di citarlo. Modelli indipendenti multipli recuperano e citano autonomamente. Quando chiedi a diversi modelli la stessa domanda e uno di essi produce una citazione che gli altri non possono riprodurre — o che gli altri valutano esplicitamente come non supportata — quella disaccordo è il campanello d'allarme.
Il principio di indipendenza, applicato alle citazioni
Se un modello fabbrica "la corte ha stabilito X" in un caso reale, altri modelli — basati sul proprio recupero della stessa opinione — di solito non riprodurranno quel linguaggio esatto fabbricato. Una citazione che solo un modello può produrre, e che gli altri valutano male, emerge come un'affermazione a bassa consenso. Hai trasformato un errore invisibile in una bandiera visibile. Questo segnala una citazione che vale la pena controllare rispetto alla fonte primaria — è uno schermo di maggiore fiducia, non una prova di accuratezza.
Una lista di controllo per la verifica della ricerca legale assistita da intelligenza artificiale
Indipendentemente dal fatto che tu utilizzi uno strumento di consenso, non presentare mai output AI non verificati. Al minimo:
- Conferma che il caso esiste — ma non fermarti qui; un vero citazione è dove si nascondono gli errori pericolosi
- Estrai la fonte primaria e leggi il linguaggio citato nel contesto — verifica ogni citazione parola per parola rispetto all'opinione stessa, non rispetto al riassunto dell'IA
- Controlla che la citazione supporti la proposizione — una citazione reale può essere allegata a un'affermazione che in realtà non supporta
- Verifica incrociata con modelli indipendenti — una quotazione prodotta solo da un modello è un segnale da indagare, non un fatto da archiviare
- Non trattare mai "fondato" come "verificato" — RAG riduce le probabilità di invenzione; non elimina il tuo dovere di controllare
Il consenso tra modelli indipendenti aumenta la tua fiducia che una quotazione sia reale. Non lo prova. La fonte primaria è ancora l'autorità — l'IA è solo lì per aiutarti a trovarla più rapidamente e per dirti dove i modelli non sono d'accordo.
Domande Frequenti
Qual è il fallimento dell'IA legale che la maggior parte delle persone non nota?
Non il falso caso di cui tutti sono a conoscenza, ma una citazione fabbricata nascosta all'interno di una citazione reale — la citazione esiste e supera un controllo di citazione, ma le parole citate non sono mai state nell'opinione.
Perché il controllo autonomo a modello singolo non rileva una citazione falsa?
Poiché la citazione è reale, l'auto-verifica conferma che il caso esiste e si ferma lì; il modello non ha alcun documento indipendente su ciò che l'opinione ha effettivamente detto.
Perché il confronto tra modelli rileva citazioni fabricate?
I modelli indipendenti basati su recuperi diversi raramente inventano la stessa citazione, quindi il loro disaccordo mette in evidenza la falsificazione che un singolo modello confermerebbe.