Iedereen heeft de verkeerde les geleerd van de AI-hallucinatie rechtszaken. De kop was "AI verzint nepzaken." Het echte gevaar is subtieler en moeilijker te vangen: AI die nep citaten uitvindt binnen zaken die volledig echt zijn.
De mislukking die iedereen kent: gefabriceerde zaken
In Mata v. Avianca (2023) dienden advocaten een federale brief in waarin verschillende juridische beslissingen werden geciteerd die simpelweg niet bestonden. De citaten waren gegenereerd door ChatGPT, dat plausibel ogende zaaknamen, rapportnummers en citaten uit de lucht produceerde. Toen de tegenpartij en de rechtbank de zaken niet konden vinden, werden de advocaten gesanctioneerd. Het werd het canonieke waarschuwingsverhaal van generatieve AI in de juridische praktijk — en het leerde het beroep om een cite-check uit te voeren.
Een gefabriceerde zaak is gelukkig gemakkelijk te ontdekken. Je zoekt het op; het is er niet; je verwijdert het. Een enkele opzoeking onthult de leugen.
De mislukking die de meeste mensen missen: valse citaten in echte citaten
Overweeg nu een meer insidieuze variant. De zaak is echt. De citatie van de reporter is juist. De rechtbank, het jaar, de partijen — allemaal echt. Maar de zin die de AI aan dat oordeel toeschrijft, de geciteerde uitspraak die het tussen aanhalingstekens plaatst, is nooit door die rechtbank geschreven. De tool baseerde zijn antwoord op een echt document en fabriceerde vervolgens taal die het beweert daar gevonden te hebben.
Waarom dit erger is dan een nepzaak
- •De verwijzing is echt, dus het doorstaat een routine cite-check
- •Een beoordelaar bevestigt dat de zaak bestaat en gaat verder — de quote blijft ongeverifieerd
- •De gefabriceerde taal klinkt vaak als iets dat de rechtbank zou zeggen
- •Het kan overleven tot in een ingediende pleitnota, een opinie of een cliëntenmemo.
Dit is de valkuil van "gegronde" of retrieval-augmented (RAG) juridische AI-tools. Het baseren van een model op echte brondocumenten verkleint de kans op een volledig uitgevonden zaak — maar het garandeert niet dat het model nauwkeurig citeert wat het heeft opgehaald. Het kan nog steeds een uitspraak parafraseren in woorden die de rechtbank nooit heeft gebruikt, of een citaat uit de ene passage aan een bewering koppelen die het niet ondersteunt.
Dit patroon van citaten-in-echte-citaten is naar verluidt in de praktijk opgedoken met commerciële, onderbouwde onderzoeksassistenten. In een gerapporteerd voorbeeld met Thomson Reuters' Westlaw CoCounsel — besproken in verband met een zaak aangeduid als U.S. v. Farris — zou de tool citaten hebben geproduceerd die niet overeenkwamen met de taal van de geciteerde autoriteit, hoewel de onderliggende verwijzing echt was. We presenteren dit alleen als een gerapporteerde illustratie: we hebben de exacte naam van de zaak, verwijzing, rechtbank, jaar of uitspraak niet onafhankelijk bevestigd, en lezers moeten die details verifiëren voordat ze erop vertrouwen. Het patroon is echter goed gedocumenteerd — en het is het patroon, niet een enkele anekdote, dat zou moeten veranderen hoe je AI-output beoordeelt.
Aarding is geen garantie — het bewijs
Dit is geen marginale zorg. Een studie uit 2024 van het Stanford RegLab en het Institute for Human-Centered AI (HAI) evalueerde toonaangevende, speciaal ontwikkelde juridische AI-onderzoekstools — de soort die expliciet wordt gepromoot als gefundeerd en met verminderde hallucinaties — en ontdekte dat ze nog steeds hallucinaties vertoonden bij een aanzienlijk deel van de vragen.
Over deze cijfers
Het Stanford RegLab / HAI (2024) werk rapporteerde hallucinatiepercentages voor toonaangevende juridische AI-onderzoekstools in ongeveer het 17–33% bereik, afhankelijk van de tool en de taak. We citeren het bereik in plaats van een enkel hoofdcijfer omdat de resultaten varieerden per tool en querytype — voor exacte percentages per tool en methodologie, raadpleeg het primaire artikel.
De boodschap is niet "deze tools zijn slecht." Het is dat gronding hallucinaties vermindert maar ze niet elimineert, en de rest omvat precies de gevaarlijke variant: zelfverzekerde, goed opgemaakte, citaten die de controle doorstaan maar verkeerd zijn.
Voor een lopend, openbaar overzicht van echte rechtszaken die betrokken waren bij AI-geproduceerde citaten, onderhoudt onderzoeker Damien Charlotin een veelgeciteerde database die deze incidenten volgt naarmate ze de rechtbanken bereiken. Het is een uitstekende bron om te zien hoe vaak — en hoe ver in het proces — deze fouten zich verspreiden. We verwijzen ernaar in plaats van het te dupliceren.
Waarom zelfverificatie met één model faalt
De instinctieve oplossing is om hetzelfde hulpmiddel te vragen zichzelf te controleren: "Weet je zeker dat die quote nauwkeurig is?" Dit helpt zelden en maakt het vaak erger.
- Het model dat het citaat heeft vervaardigd, heeft geen grondwaarheidsgeheugen van de mening — het vragen om te "verifiëren" herhaalt gewoon hetzelfde patroonherkenning dat de fout heeft geproduceerd.
- Opdrachten zoals "bevestig dat dit letterlijk is" geven vaak een zelfverzekerd ja terug — soms met een vers hallucinerend ondersteunend detail.
- De vertrouwensscore van een model correleert niet met de nauwkeurigheid van de citaten, dus het kan de risicovolle niet zelf markeren.
Waarom cross-model onenigheid het vangt
Een enkele, vaste model heeft één retrieval en één manier om deze te citeren. Meerdere onafhankelijke modellen halen elk op hun eigen manier informatie op en citeren. Wanneer je verschillende modellen dezelfde vraag stelt en een van hen een citaat produceert dat de anderen niet kunnen reproduceren — of dat de anderen expliciet als ongefundeerd beoordelen — is die onenigheid de alarmbel.
Het onafhankelijkheidsprincipe, toegepast op citaten
Als één model "de rechtbank oordeelde X" in een echte zaak fabriceert, zullen andere modellen — gebaseerd op hun eigen retrieval van dezelfde mening — doorgaans die exacte gefabriceerde taal niet reproduceren. Een citaat dat slechts door één model kan worden geproduceerd, en dat de anderen slecht beoordelen, komt naar voren als een claim met lage consensus. Je hebt een onzichtbare fout omgezet in een zichtbare vlag. Dit geeft aan dat een citaat het waard is om te controleren tegen de primaire bron — het is een scherm met hogere betrouwbaarheid, geen bewijs van nauwkeurigheid.
Een verificatielijst voor AI-ondersteund juridisch onderzoek
Of je nu een consensus-tool gebruikt of niet, dien nooit ongeverifieerde AI-uitvoer in. Minimaal:
- Bevestig dat de zaak bestaat — maar stop daar niet; een echte verwijzing is waar de gevaarlijke fouten zich verbergen
- Trek de primaire bron en lees de geciteerde taal in context — verifieer elke quote letterlijk tegen de mening zelf, niet tegen de samenvatting van de AI
- Controleer of het citaat de stelling ondersteunt — een echt citaat kan worden gekoppeld aan een bewering die het eigenlijk niet ondersteunt
- Controleer met onafhankelijke modellen — een citaat dat slechts door één model wordt geproduceerd, is een teken om te onderzoeken, geen feit om te archiveren
- Behandel "gegrond" nooit als "geverifieerd" — RAG verlaagt de kansen op uitvinding; het ontslaat je niet van de plicht om te controleren
Consensus tussen onafhankelijke modellen verhoogt je vertrouwen dat een citaat echt is. Het bewijst het niet. De primaire bron is nog steeds de autoriteit — de AI is er alleen om je te helpen het sneller te vinden en om je te vertellen waar de modellen het niet eens zijn.
Veelgestelde Vragen
Wat is de juridische-AI-fout die de meeste mensen missen?
Niet de nepzaak die iedereen kent, maar een gefabriceerde quote verstopt in een echte citaat — het citaat bestaat en doorstaat een citaatcontrole, maar de geciteerde woorden stonden nooit in de opinie.
Waarom vangt zelfcontrole met één model een nepquote niet?
Omdat de citaat echt is, bevestigt zelfverificatie dat de zaak bestaat en stopt daar; het model heeft geen onafhankelijk verslag van wat de mening daadwerkelijk zei.
Waarom vangt cross-model vergelijking gefabriceerde citaten?
Onafhankelijke modellen die zijn gebaseerd op verschillende retrievals verzinnen zelden dezelfde quote, dus hun onenigheid onthult de fabricatie die een enkel model zou bevestigen.