Semua orang belajar pelajaran yang salah dari gugatan halusinasi AI. Judulnya adalah "AI menciptakan kasus palsu." Bahaya yang sebenarnya lebih halus dan lebih sulit ditangkap: AI menciptakan kutipan palsu di dalam kasus yang sepenuhnya nyata.
Kegagalan yang diketahui semua orang: kasus yang dibuat-buat
Dalam Mata v. Avianca (2023), para pengacara mengajukan dokumen federal yang mengutip beberapa keputusan pengadilan yang sebenarnya tidak ada. Kutipan-kutipan tersebut dihasilkan oleh ChatGPT, yang menciptakan nama kasus, nomor reporter, dan kutipan yang tampak meyakinkan dari udara. Ketika pihak lawan dan pengadilan tidak dapat menemukan kasus-kasus tersebut, para pengacara dikenakan sanksi. Ini menjadi kisah peringatan kanonik tentang AI generatif dalam praktik hukum — dan mengajarkan profesi untuk melakukan pemeriksaan kutipan.
Kasus yang dibuat-buat, untungnya, mudah untuk ditangkap. Anda mencarinya; itu tidak ada; Anda menghapusnya. Satu pencarian mengungkap kebohongan tersebut.
Kegagalan yang sering diabaikan banyak orang: kutipan palsu dalam sitasi yang nyata
Sekarang pertimbangkan varian yang lebih licik. Kasusnya adalah nyata. Kutipan reporter adalah benar. Pengadilan, tahun, para pihak — semuanya asli. Tetapi kalimat yang dikaitkan AI dengan pendapat itu, pegangan yang dikutipnya dalam tanda kutip, tidak pernah ditulis oleh pengadilan tersebut. Alat tersebut mendasarkan jawabannya pada dokumen nyata dan kemudian membuat bahasa yang diklaimnya ditemukan di sana.
Mengapa ini lebih buruk daripada kasus palsu
- •Kutipan tersebut nyata, jadi itu lulus pemeriksaan kutipan rutin
- •Seorang peninjau mengonfirmasi bahwa kasus tersebut ada dan melanjutkan — kutipan tersebut tidak terverifikasi.
- •Bahasa yang dibuat-buat sering terdengar seperti sesuatu yang akan dikatakan oleh pengadilan.
- •Itu dapat bertahan hingga ke dalam ringkasan yang diajukan, opini, atau memo klien.
Ini adalah jebakan dari alat hukum AI "grounded" atau retrieval-augmented (RAG). Mengandalkan model pada dokumen sumber yang nyata mengurangi kemungkinan kasus yang sepenuhnya dibuat-buat — tetapi itu tidak menjamin model mengutip dengan akurat apa yang diambilnya. Model masih bisa memparafrasekan suatu putusan dengan kata-kata yang tidak pernah digunakan oleh pengadilan, atau menggabungkan kutipan dari satu bagian ke proposisi yang tidak didukung.
Pola kutipan-dalam-kutipan-nyata ini dilaporkan telah muncul dalam praktik dengan asisten penelitian komersial yang berbasis. Dalam satu contoh yang dilaporkan yang melibatkan Westlaw CoCounsel dari Thomson Reuters — dibahas sehubungan dengan suatu perkara yang disebut U.S. v. Farris — alat tersebut dikatakan telah menghasilkan kutipan yang tidak sesuai dengan bahasa otoritas yang dikutip, meskipun kutipan yang mendasarinya adalah asli. Kami menyajikan ini hanya sebagai ilustrasi yang dilaporkan: kami tidak telah mengonfirmasi secara independen nama kasus yang tepat, kutipan, pengadilan, tahun, atau putusan, dan pembaca harus memverifikasi detail tersebut sebelum mengandalkannya. Namun, pola tersebut didokumentasikan dengan baik — dan itu adalah pola, bukan anekdot tunggal, yang seharusnya mengubah cara Anda meninjau keluaran AI.
Grounding bukanlah jaminan — buktinya
Ini bukanlah masalah kecil. Sebuah studi 2024 dari Stanford RegLab dan Institute for Human-Centered AI (HAI) mengevaluasi alat penelitian AI hukum yang dirancang khusus — jenis yang secara eksplisit dipasarkan sebagai berbasis fakta dan mengurangi halusinasi — dan menemukan bahwa mereka masih mengalami halusinasi pada sejumlah pertanyaan yang signifikan.
Tentang angka-angka ini
Stanford RegLab / HAI (2024) melaporkan tingkat halusinasi untuk alat penelitian AI hukum terkemuka dalam kisaran 17–33%, tergantung pada alat dan tugasnya. Kami menyebutkan kisaran tersebut daripada satu angka utama karena hasil bervariasi berdasarkan alat dan jenis kueri — untuk persentase per alat yang tepat dan metodologi, silakan merujuk pada makalah utama.
Intinya bukan "alat-alat ini buruk." Melainkan penyandaran mengurangi halusinasi tetapi tidak menghilangkannya, dan sisa-sisa tersebut mencakup jenis yang berbahaya: kutipan yang percaya diri, terformat dengan baik, dan lolos pemeriksaan kutipan yang salah.
Untuk catatan publik yang berjalan mengenai kasus pengadilan nyata yang melibatkan kutipan yang dihalusinasi oleh AI, peneliti Damien Charlotin mengelola basis data yang banyak dikutip yang melacak insiden-insiden ini saat mereka mencapai pengadilan. Ini adalah sumber yang sangat baik untuk melihat seberapa sering — dan seberapa jauh dalam proses — kesalahan-kesalahan ini terjadi. Kami merujuknya daripada menduplikasinya.
Mengapa verifikasi diri model tunggal gagal
Perbaikan instingtif adalah meminta alat yang sama untuk memeriksa dirinya sendiri: "Apakah kamu yakin kutipan itu akurat?" Ini jarang membantu, dan sering kali membuat keadaan menjadi lebih buruk.
- Model yang membuat kutipan tersebut tidak memiliki memori kebenaran tentang opini — memintanya untuk "memverifikasi" hanya menjalankan kembali pola pencocokan yang sama yang menghasilkan kesalahan.
- Permintaan seperti "konfirmasi ini adalah kata demi kata" sering kali menghasilkan ya yang percaya diri — terkadang dengan detail pendukung yang baru saja dihaluskan.
- Skor kepercayaan model tidak berkorelasi dengan akurasi kutipan, jadi model tidak dapat menandai sendiri yang berisiko.
Mengapa ketidaksepakatan antar model menangkapnya
Sebuah model tunggal yang terhubung memiliki satu pengambilan dan satu cara untuk mengutipnya. Beberapa model independen masing-masing mengambil dan mengutip secara mandiri. Ketika Anda mengajukan pertanyaan yang sama kepada beberapa model dan salah satunya menghasilkan kutipan yang tidak dapat direproduksi oleh yang lain — atau yang secara eksplisit dinilai tidak didukung oleh yang lain — perbedaan pendapat itu adalah tanda bahaya.
Prinsip independensi, diterapkan pada kutipan
Jika satu model membuat "pengadilan memutuskan X" dalam kasus nyata, model-model lain — yang didasarkan pada pengambilan pendapat yang sama — biasanya tidak akan menghasilkan bahasa yang tepat yang dibuat tersebut. Sebuah kutipan yang hanya dapat dihasilkan oleh satu model, dan yang dinilai buruk oleh model lainnya, muncul sebagai klaim dengan konsensus rendah. Anda telah mengubah kesalahan yang tidak terlihat menjadi bendera yang terlihat. Ini menandakan kutipan yang layak untuk diperiksa terhadap sumber utama — ini adalah layar dengan kepercayaan yang lebih tinggi, bukan bukti akurasi.
Daftar periksa verifikasi untuk penelitian hukum yang dibantu AI
Apakah Anda menggunakan alat konsensus atau tidak, jangan pernah mengajukan output AI yang belum diverifikasi. Setidaknya:
- Konfirmasi bahwa kasus tersebut ada — tetapi jangan berhenti di situ; kutipan yang sebenarnya adalah tempat kesalahan berbahaya bersembunyi
- Tarik sumber utama dan baca bahasa yang dikutip dalam konteks — verifikasi setiap kutipan secara verbatim terhadap pendapat itu sendiri, bukan terhadap ringkasan AI.
- Periksa bahwa kutipan mendukung proposisi — sebuah kutipan yang nyata dapat dilampirkan pada klaim yang sebenarnya tidak didukungnya
- Periksa silang dengan model independen — sebuah kutipan yang hanya dihasilkan oleh satu model adalah tanda untuk menyelidiki, bukan fakta untuk diarsipkan
- Jangan pernah menganggap "grounded" sebagai "terverifikasi" — RAG menurunkan kemungkinan penemuan; itu tidak menghilangkan kewajiban Anda untuk memeriksa
Konsensus di antara model-model independen meningkatkan kepercayaan Anda bahwa sebuah kutipan itu nyata. Namun, itu tidak membuktikannya. Sumber utama tetap menjadi otoritas — AI hanya ada untuk membantu Anda menemukannya lebih cepat dan memberi tahu Anda di mana model-model tersebut tidak setuju.
Pertanyaan yang Sering Diajukan
Apa kegagalan AI hukum yang paling sering diabaikan orang?
Bukan kasus palsu yang semua orang tahu, tetapi kutipan yang dipalsukan yang tersembunyi di dalam kutipan yang nyata — kutipan tersebut ada dan lulus pemeriksaan kutipan, tetapi kata-kata yang dikutip tidak pernah ada dalam pendapat.
Mengapa pemeriksaan mandiri model tunggal tidak menangkap kutipan palsu?
Karena kutipannya nyata, verifikasi diri mengonfirmasi bahwa kasus tersebut ada dan berhenti di situ; model tidak memiliki catatan independen tentang apa yang sebenarnya dikatakan dalam opini tersebut.
Mengapa perbandingan antar model menangkap kutipan yang dipalsukan?
Model independen yang didasarkan pada pengambilan yang berbeda jarang menciptakan kutipan yang sama, sehingga ketidaksepakatan mereka mengungkapkan fabrikasi yang akan dikonfirmasi oleh satu model.