Herkes AI-hallüsinasyon davalarından yanlış dersler çıkardı. Başlık "AI sahte davalar icat ediyor"du. Gerçek tehlike daha ince ve yakalaması daha zor: AI'nın tamamen gerçek olan davalar içinde sahte alıntılar icat etmesi.
Herkesin bildiği başarısızlık: uydurulmuş davalar
Mata v. Avianca (2023) davasında, avukatlar var olmayan birkaç yargı kararını alıntılayan bir federal dilekçe sundular. Alıntılar, ChatGPT tarafından üretilmişti ve gerçek gibi görünen dava isimleri, rapor numaraları ve alıntılar ortaya çıkmıştı. Karşı tarafın avukatları ve mahkeme davaları bulamadığında, avukatlar ceza aldı. Bu durum, hukuki uygulamalarda üretken yapay zeka ile ilgili klasik bir uyarı hikayesi haline geldi ve mesleğe alıntı kontrolü yapmayı öğretti.
Uydurulmuş bir dava, neyse ki, kolayca yakalanır. Bakarsınız; orada yoktur; silersiniz. Tek bir arama yalanı ortaya çıkarır.
Çoğu insanın gözden kaçırdığı başarısızlık: gerçek alıntılardaki sahte alıntılar
Şimdi daha sinsi bir varyantı düşünün. Durum gerçek. Gazeteci alıntısı doğru. Mahkeme, yıl, taraflar — hepsi gerçek. Ancak AI'nın o görüşe atfettiği cümle, alıntı yaptığı karar, o mahkeme tarafından asla yazılmamıştır. Araç, yanıtını gerçek bir belgeye dayandırdı ve ardından orada bulduğunu iddia ettiği dili uydurdu.
Bunun neden sahte bir davadan daha kötü olduğu
- •Alıntı gerçektir, bu nedenle rutine uygun bir alıntı kontrolünden geçer
- •Bir inceleyici davanın var olduğunu onaylar ve devam eder — alıntı doğrulanmamış kalır.
- •Uydurulan dil genellikle mahkemenin söyleyeceği bir şeye benzer.
- •Bir dosya brifingine, bir görüşe veya bir müşteri notuna kadar hayatta kalabilir.
Bu, "temellendirilmiş" veya retrieval-augmented (RAG) hukuki-yapay zeka araçlarının tuzağıdır. Bir modeli gerçek kaynak belgeleri üzerinde temellendirmek, tamamen uydurulmuş bir davanın olasılığını azaltır — ancak bu, modelin aldığı bilgileri doğru bir şekilde alıntılayacağına garanti etmez. Yine de, bir kararı mahkemenin asla kullanmadığı kelimelere yeniden ifade edebilir veya bir alıntıyı desteklemediği bir öneriye ekleyebilir.
Bu alıntıların-gerçek-alıntılar deseninin, ticari, somut araştırma asistanlarıyla pratikte ortaya çıktığı bildirilmektedir. Thomson Reuters'ın Westlaw CoCounsel'ını içeren bir örnekte — U.S. v. Farris olarak adlandırılan bir meseleyle bağlantılı olarak tartışılmıştır — aracın, alıntılanan otoritenin diline uymayan alıntılar ürettiği söylenmektedir, oysa altta yatan alıntı gerçektir. Bunu yalnızca bildirilen bir örnek olarak sunuyoruz: kesin dava adı, alıntı, mahkeme, yıl veya karar hakkında bağımsız olarak doğrulama yapmadık ve okuyucuların bunlara güvenmeden önce bu detayları doğrulamaları gerekmektedir. Ancak desen iyi belgelenmiştir — ve bu desen, tek bir anekdot değil, AI çıktısını gözden geçirme şeklinizi değiştirmelidir.
Topraklama bir garanti değildir — kanıtlar
Bu, marjinal bir endişe değil. Stanford RegLab ve İnsan Merkezli Yapay Zeka Enstitüsü (HAI) tarafından 2024'te yapılan bir çalışma, açıkça temellendirilmiş ve halüsinasyonları azaltılmış olarak pazarlanan önde gelen amaç odaklı hukuk yapay zeka araştırma araçlarını değerlendirdi ve bu araçların hala önemli bir sorgu payında halüsinasyonlar ürettiğini buldu.
Bu rakamlar hakkında
Stanford RegLab / HAI (2024) çalışması, önde gelen hukuk yapay zeka araştırma araçları için halüsinasyon oranlarını yaklaşık %17–33 aralığında bildirmiştir; bu, araca ve göreve bağlı olarak değişmektedir. Tek bir başlık numarası yerine aralığı belirtmemizin nedeni, sonuçların araç ve sorgu türüne göre değişmesidir — her bir araç için kesin yüzdeler ve metodoloji için ana makaleye başvurun.
Alınacak ders "bu araçlar kötü" değil. Temellendirme halüsinasyonu azaltır ama ortadan kaldırmaz ve kalıntılar tam olarak tehlikeli türü içerir: yanlış olan, kendinden emin, iyi formatlanmış, alıntı kontrolünden geçen alıntılar.
AI-hallüsinasyonlu alıntıları içeren gerçek mahkeme davalarının sürekli, kamuya açık kaydı için araştırmacı Damien Charlotin, bu olayları mahkemelere ulaştıkça takip eden yaygın olarak alıntılanan bir veritabanı tutmaktadır. Bu hataların ne sıklıkta ve sürecin ne kadar derinine kadar gittiğini görmek için mükemmel bir kaynaktır. Bunu işaret ediyoruz, tekrar etmiyoruz.
Neden tek modelli kendi kendine doğrulama başarısız olur
İçgüdüsel çözüm, aynı aracı kendini kontrol etmesi için sormaktır: "Bu alıntının doğru olduğundan emin misin?" Bu nadiren yardımcı olur ve genellikle işleri daha da kötüleştirir.
- Alıntıyı üreten modelin, görüşün gerçek bir hafızası yoktur — ondan "doğrulamasını" istemek, hatayı üreten aynı kalıp eşleştirmeyi yeniden çalıştırmaktan başka bir şey değildir.
- "Bu tam olarak doğru olduğunu onaylayın" gibi istemler sıklıkla kendinden emin bir evet ile geri döner — bazen taze bir hayal ürünü destekleyici detayla birlikte.
- Bir modelin güven puanı, alıntı doğruluğuyla korelasyon göstermez, bu nedenle riskli olanları kendiliğinden işaretleyemez.
Neden model dışı anlaşmazlık bunu yakalar
Tek bir yerleşik modelin bir alıntısı ve onu alıntılamanın bir yolu vardır. Birden fazla bağımsız model her biri kendi başına alıntı yapar ve alıntı alır. Aynı soruyu birkaç modele sorduğunuzda ve bunlardan biri diğerlerinin yeniden üretemediği bir alıntı ürettiğinde — ya da diğerlerinin açıkça desteklenmediğini değerlendirdiği bir alıntı olduğunda — bu anlaşmazlık alarm zili gibidir.
Alıntılara uygulanan bağımsızlık ilkesi
Eğer bir model gerçek bir davada "mahkeme X'i belirtti" ifadesini uydurursa, diğer modeller — aynı görüşü kendi alıntılarına dayanarak — genellikle o tam uydurulmuş dili yeniden üretmeyeceklerdir. Sadece bir modelin üretebildiği ve diğerlerinin düşük puan verdiği bir alıntı, düşük konsensüs iddiası olarak ortaya çıkar. Görünmez bir hatayı görünür bir bayrağa dönüştürdünüz. Bu, birincil kaynakla kontrol edilmesi gereken bir alıntıyı işaret eder — bu, daha yüksek güvenilirlikte bir tarama aracıdır, doğruluğun kanıtı değildir.
Yapay zeka destekli hukuki araştırma için bir doğrulama kontrol listesi
Konsensüs aracı kullanıp kullanmadığınızdan bağımsız olarak, asla doğrulanmamış AI çıktısını dosyalamayın. En azından:
- Vakanın var olduğunu onaylayın — ama burada durmayın; gerçek alıntı, tehlikeli hataların gizlendiği yerdir.
- Birincil kaynağı çekin ve alıntılanan dili bağlam içinde okuyun — her alıntıyı, AI'nın özetine değil, görüşün kendisine karşı kelimesi kelimesine doğrulayın.
- Alıntının tezi desteklediğinden emin olun — gerçek bir alıntı, aslında desteklemediği bir iddiaya eklenebilir
- Bağımsız modellerle çapraz kontrol — yalnızca bir modelin ürettiği bir alıntı, araştırılması gereken bir işarettir, dosyalanacak bir gerçek değil.
- Asla "temellendirilmiş" ile "doğrulanmış" olarak muamele etmeyin — RAG, icat olasılıklarını düşürür; kontrol etme yükümlülüğünüzü ortadan kaldırmaz
Bağımsız modeller arasındaki uzlaşma, bir alıntının gerçek olduğuna dair güveninizi artırır. Ancak bunu kanıtlamaz. Birincil kaynak hala otoritedir — yapay zeka yalnızca onu daha hızlı bulmanıza yardımcı olmak ve modellerin nerede anlaşmadığını size bildirmek için vardır.
Sıkça Sorulan Sorular
Çoğu insanın gözden kaçırdığı yasal-yapay zeka hatası nedir?
Herkesin bildiği sahte dava değil, gerçek bir alıntının içine gizlenmiş uydurma bir alıntı — alıntı var ve alıntı kontrolünden geçiyor, ancak alıntılanan sözler asla görüşte yer almadı.
Neden tek model kendi kendine kontrol, sahte bir alıntıyı yakalamıyor?
Çünkü alıntı gerçektir, kendini doğrulama durumun var olduğunu onaylar ve burada durur; modelin görüşün aslında ne söylediğine dair bağımsız bir kaydı yoktur.
Neden çapraz model karşılaştırması uydurulmuş alıntıları yakalar?
Farklı alımlara dayanan bağımsız modeller nadiren aynı alıntıyı icat eder, bu nedenle aralarındaki anlaşmazlık, tek bir modelin onaylayacağı bir uydurmayı ortaya çıkarır.